Databricks REST API について (備忘録)

こんばんは。

今回はただのメモです。

IT 初心者が Databricks の REST API を勉強していたんですが、かなり時間がかかってしまいました。

とはいえ、頻繁に使うものではないので、多分忘れます。

だから、ここに備忘録を作成しておこうと思います。

この記事が他の人の役に立てば、なお嬉しいことですが、わかっていない人間が書いているものなので、へぇー。くらいに見るようにしてください。

根拠のある部分はソースを記載するつもりですが、ないところは私の想像です。

そもそも REST API がなんなんだ？というところから。

といっても詳しいことはわからないので、何がしたいの？みたいなこと。

Databricks だけのシステムというわけではなく、そういう仕組みがあって、Databricks 用に使えるようにしているというだけのようです。

例えば Databricks のクラスターを同じ設定で作成して、消すだけの仕事をしていたとします。

これを自動化できたらいいなと思いませんか？

人間がマウスでぽちぽちして作るなら、毎回 Databricks の UI (ワークスペース) にアクセスして、クラスターの設定を選択して作成し、出来上がったら消すことをやり続けなければなりません。

しかし、REST API を使用すれば、自動で行う事ができるのです。

プログラムに組み込んで、タイマーでも設定しておけば、多分いける！と、思う。

REST API は、指定されたワークスペースにアクセスして、クラスターを作成するように命令を出します。

ワークスペースは、その命令に従って、クラスターを作成します。

そのために必要な要素は、ワークスペースのインスタンス (アドレス)、認可のためのトークン、作りたいクラスターの情報です。

• ワークスペースのインスタンスがないと、どこにクラスターを作ればいいかわからない。
• ワークスペースに辿り着いても、鍵がないと入れない。
• クラスターの情報がないと、どう作ればいいのかわからない。

こんな感じです。

じゃあ、実際に用意していきます。

まずは、今回 Databricks REST API を使用する環境ですが、Azure Cloud Shell の Bash です。

REST API は、Bash のほかに Python などでも使用できますが、今のところはわかりません。

多分必要なことは一緒で、書き方が違うだけだと思います。

ひとまず、Databricks 社のサイトを貼っておきます。

https://docs.databricks.com/api/workspace/introduction

基本的にはこのサイトがメインで進んでいきます。

最初のページに書かれているコマンドがこれです。

curl --request GET "https://${DATABRICKS_HOST}/api/2.0/clusters/get" \
     --header "Authorization: Bearer ${DATABRICKS_TOKEN}" \
     --data '{ "cluster_id": "1234-567890-a12bcde3" }'

これは、curl コマンドで、任意のクラスターの情報を取得するための API です。

この API のリファレンスはこちら。

https://docs.databricks.com/api/workspace/clusters/get

curl コマンド自体は、API のためのコマンドというわけではないようです。

その全容はよくわかりませんが、API に使用できるコマンドであるということだけ覚えておけば大丈夫だと思います。

簡単に説明すると、サーバーから情報を取得したり、情報を渡したりすることができるので、API に使用できるという理屈みたいです。

オプションについて

--request <method>

Databricks API で使用できるメソッドを指定します。

(GET, POST, PATCH, DELETE) のいづれかが使用できます。

サンプルコードでは、クラスターの情報を取得するので、GET を使用しています。

どれを使うのかは、それぞれのリファレンスの上部に記載されています。

記載されている URL は、実行するワークスペースのアドレスバーからコピーすればいいです。

https://.azuredatabricks.net ってやつです。

その後ろに、/api/...... というのがくっ付きます。

--header

header で、認証情報を入力するために使用します。

"Authorization: Bearer ${DATABRICKS_TOKEN}" は、こういうモノなのでそのまま入力します。

${DATABRICKS_TOKEN} は、ワークスペースで個人用アクセストークンを取得して、その値を入力します。$ も {} も残す必用はなく、全て入れ替えて大丈夫です。

--data

やりたいことに関連する情報を入力します。

サンプルコードでは、クラスターの ID を指定するために入力しています。

このオプション達だけ知っていれば、クラスター作成まではできました。

なので、大体大丈夫なのでは？と思っています。

ちなみに、curl コマンドは Linux で動いているので、コマンドは 1 行で記述する必要があります。

サンプルコードの右端にいくつかある \ という記号は、次の特殊文字の効果を消す役割を持っています。

つまり、Enter キーによる改行を打ち消して、コマンドが 1 行であるようにしているというわけです。 

必要な知識はあと一つあるのですが、これは説明が必要なので、今回の記事はここまでにして、続きはパート 2 に記載します。

PCIe、NVMe って何？ メモリのお話。(自論)

こんばんは。

12 月 1 日まで Amazon でブラック フライデー セールが開催されていましたが、皆さんはしっかりと散財されましたか？

私は自分のミスで余計なものを買ってしまい、しっかりと散財しました。

そのミスが、マザーボードが対応してるメモリのお話です。

今回は外部記憶装置を総じてメモリと呼称します。

まず、私が使用しているマザーボードは ASUS の PRIME H310M-AT R2.0 です。

このマザーボードには M.2 というメモリのスロットが一つ装備されていますが、読み込めるのは SATA という通信規格だけなんです。

M.2 は簡単に言うと SD カードのようなものです。

ただ、取扱説明書には、NVMe という規格が使用できると記載されています。

NVMe もメモリの規格の一つなんですけど、SATA よりも早いことが特徴です。

だから、その規格の M.2 を購入したんですが、前述の理由で使えませんでした。

どういうことなのか？

実はこのマザーボードで NVMe という規格を使用することはできるんです。

ただしそれは PCIe を使用する場合です。

PCIe は、デスクトップ パソコンに Wi-Fi の機能などを追加するときにも使用される場所で、拡張機能を追加する場所だと思ってください。

そういう穴があると考えてもらえばわかりやすい？

ビデオカードが刺さっているところがその一つで、大体のボードに複数ついているようですが、大きさが違います。

大きさは 数種類あるんですが、速度が違うだけで、規格は同じです。

長いものほど早くて、短いのは遅い。

そんなイメージで問題ないと思います。

最近のマザーボードはそもそも M.2 のスロットが PCIe に対応しているみたいです。

だから、もともと入っている場所のものを入れ替えるだけで対応できるんですが、自分のマザーボードはもともと入っている場所が SATA しか対応していないため、PCIe に部品を追加して接続する必要があるということです。

だからそのままでは使用できなかったんですね・・・。

で、自分のマザーボードには PCIe がいくつか装備されているんですが、一番早いポートはビデオカードに使用されています。

一つはビデオカードが干渉して使用できません。

もう一つは一番遅い短いものです。

でも！

使用すると SATA よりは早いみたいですね。

とりあえず部品を買ってみましたが、今回使用できなかった M.2 が相性で使用できない可能性も考慮して、SATA の M.2 も一応購入しておきました。

つまり！

無駄なものを買ったわけですよ・・・ (´;ω;｀)

でもまあ、使えないものだった場合は本当に無駄ですが、使えたら余分ではあるものの、本当の無駄ではなくなりますから、せめて使えることを祈っています。

今回は M.2 のお話でした。

素人が一部をとりあげてざっと調べただけの知識ですので、全然間違っている可能性もありますから、もし、この記事を見て購入されることを検討されるなら、そういうところも見ないといけないんだなーと思うくらいにしていただければと思います。

さて、酒も回ってきて眠いのでこの辺で。

おやすみなさい。

熱燗の季節ですね。

こんばんは。

至る所で言われていますが、寒くなりましたね。

朝の冷え込みがやっぱり1番寒いのは当たり前なんですが、そこから、気温が結構上がるのでまだ完全に冬服にしてしまうのもどうなのか？

と思いながら毎日服に困ってます。

基本的には上着で対応するのがいいんだと思うんですけど、仕事場のハンガーが全員で共用になってるので、めちゃくちゃにされそうで嫌なんですよ。

そんな寒くなってきた今日この頃、日本酒は熱燗にしたくなりましたので、徳利と猪口を新調しようか迷ってます。

いや、そもそも自分のを持ってないので、親が使っていたものを引っ張り出してきたんですが・・・。

でもやっぱりデザインとか、自分好みが欲しくなるじゃないですか。

今使っているのは丸っこい形で多分 1.5 号が入るくらいです。

個人的にはスラッとしたような形で、上の口部分が少し大きめに作られたものが好みなので、それが欲しいなーと思ってます。

まあ、今まで買ってきたものに比べれば全然安いものなんですけど、なかなかコスパのいいものに出会えていなくて、購入には至っていません。

ネットで検索すればいいなと思うものはたくさんヒットしますが、どれも数千円から数万円しますから・・・。

そこまでのものを買う予定はありません。

まあ、とりあえず使用できるものがあるから急いでいないという事もあるんですが。

素材さえ考慮しなければ、キャンプで使えるロゴスのセットがいいなと思います。

結構なお値段ですが、アルミなので割れたりする事もありませんし。

ただ、自分は金属が擦れる音が苦手なので、アルミ同士が触れるような商品はちょっと辛いんですよね・・・。

実は自分のキャンプ道具は基本的に布などで覆ってあるものを選ぶようにしてます。

というか、覆います。

例えば、アルミローテーブルはランチョンマットをしいて、マグカップなんかを置いた時の金属音がしないようにしています。

カトラリーは竹なので、食べる時にも音はしません。

そんなことでダメージを負いたくないですからね・・・。

というわけで、ロゴスの熱燗セットはやめました。

と、言いつつ、実は苦手なのは金属音というよりその感触。

陶器同士なんかも苦手だったりするので、自分には熱燗は向いていないかもしれないなと思ってます（笑）

きっとどこかに自分に合う熱燗セットがある。

そう信じて、適当に探してみようと思います。

さて、そろそろ1,000字なので今日はこの辺で。

おやすみなさい。

雑談

こんばんは。

ようやく休みですね。

今月は穏やかだなー、なんて思ってたんですが、そんなことはありませんでした。

今日の就業時間が終わる少し前くらいに受注が来まして、来週は頭から忙しくなりそうです。

仕事がないよりはいいことなんだと思いますけどね。

明日は散髪して、適当にぶらついて、帰宅。

明後日は雨予報なので適当に・・・。

こういう、何もない日々が続けばいいんですけどね。

生活していると、いろんな懸念があって、価値観を押し付けあって、疲れますね。

というわけで、今週も一週間、おつかれさまでした。

おやすみなさい。

Various coat でプラスチック掃除

こんばんは。

最近は色々と思うところが多いんですが、まあそれは適当に時間を見つけて更新していこうと思っています。

そういや、ここ最近は何故かアクセスが多いんですが、自己分析してみると、多分リンゴマークの新作の記事とか、それに関連する記事を書いたからですね。

急にアクセス増えるとビビる。

で！結局高くて買えないので、何をしたのかというと、2012年モデルの MacBook Air を拭いてきれいにしてみました。

何かをこぼしたりなどはしていないし、パソコンを触りながらモノを食べたりなどもしないので、汚れているとは思っていませんでした。

ただ、終わってから見直してみると、きれいになったなという印象を受けました。

人間は変化には敏感な種族ですから、ちょっとでもきれいになったと感じるなら、よっぽど汚れていたということでしょう。もっとこまめに掃除してあげないとダメですね。

ついでにデスク周りの色々なものを掃除していたんですが、ちょっと光沢のあるようなプラスチックってくすんだり、日焼けしたりするじゃないですか。

そういう時に自分が使っているのが WAKOS さんの Various coat です。

これ、バイクとか四輪車に使用する目的のガラスコーティング剤なんですが、プラスチックに付いた汚れがきれいになるんです。

汚れを落としているのか、プラスチックを溶かしているのかは知らないし、変色することもあるので、もし真似される方は自己責任のもとで実施してください。

気づいたのはバイクの洗車をしている時でした。

洗剤を使っても取れなかった汚れが、最後のコーティングの際に取れたんです。

それから使用できそうなプラスチックパーツなんかは Various coat で仕上げするようにしてます。

ということで、身近なプラスチック製品にも使ってみました。

具体的には、iPad の充電器とかですね。

もちろん、端子には影響しないように塗っています。

あとはマウスとかね。

ちなみにマウスの仕上げは ボナンザスプレー 50 を使っています。

ネットで検索して一番上位にあったものをとりあえず買ってみましたが、結構高いです。

でも、満足しています。

ある日突然気づいたことがその後の人生の役に立つってことはよくありますよね。

そうやって形成される自分ルールをこうやって書いていくのも面白いかもしれません。

とはいえ、今回は普通やらないと思ったので記事にしてみましたが、自分にとって便利で当たり前にやっていることって、記事にするほど特別なことなのか分からないので、気づいた時限定になりますね。

2012 MacBook Air だってまだ頑張れるんだ！

というか、新しいモデルを買う余裕はないので頑張ってもらうしかないです。

というわけで、今回はちょっとしたお掃除のお話でした。

おやすみなさい。

3 連休何してますか？

こんにちは。

今日は 3連休初日ですね。

皆さんはどこかにお出かけの予定はありますか？

もしくは、すでにお出かけ中でしょうか？

自分がよく見る Youtube チャンネルで、ゲーム配信をされている方がいるんですが、本日は東京の池袋？で一日店長のイベントをされているそうです。

そういうイベントが近くであれば行ってみるのもありかもしれないですね。

ちなみにチャンネル名は ハヤトの野望 です。

実は高野龍神スカイラインに行こうかとも思っていたんですが、前日に日本酒を飲みすぎたので飲酒運転になるかと思って辞めました。

和歌山の方なんですけど、行ったことありますか？

景色もきれいだし、道も楽しいのでもっと行きたいんですけど、人が多すぎるのであまり行きません。

アンガーマネジメントってやつかな？

人が多いだけなら多いなーと思うだけなんですけど、やっぱり人数に比例して周囲に気を配れない人が増えますからね。

明日はちょっと届け物をしないといけないので、外出は難しいし、自分の休みはあと少しかな。

３連休の中日に約束をすると、拘束時間が想像以上に伸びますね。

いや、わかってて約束したんですが。

明後日はどうしようかなー。

ではこの辺で。

さよなら。

またキーボードの話

こんばんは。

最近更新頻度が高いですね。

みなさん、キーボード打ってますか？

自分は毎日パチパチしていて結構な幸せを感じられています。

自分の考えていることを文字に書き出してくれる重要なものなので、打つことにストレスを感じないようにしたいです。

先日買った MX Keys Mini の登場でそれまで使っていたフルサイズの Hyperx キーボードを持て余していたんですが、会社で使うことにしました。

ロジクールのメカニカル キーボードを購入して使おうかと思っていたんですが、オフィスデスクがちょっとだけ大きくなったので、フルサイズでも問題なく使えるようになりました。

購入しようと思っていたキーボードのレビューを見ていたんですが、想像していたよりも音が大きいとか、オフィスでメカニカル キーボードはありえないっていう記述がありました。

自分も、周りの人のキーボードの音が気になってしまうタイプなので、どうしようかと思っていたんですけど、仕事中のほとんどの時間をキーボードで文字を打っていると言っても過言ではないので、やっぱり妥協はしたくないです。

MX Keys Mini のようなキーボードをもう一つ購入することも当初は考えていたんですが、職場用に高価なキーボードを買うのもちょっと嫌だなーと思いましたので、使用頻度の下がったキーボードを持っていくことにしました。

こうやって書くと、Hyper X のキーボードに愛着を感じないような字面だと思いますが、現在の自分の環境では少し大きすぎて使いづらいので使用頻度が下がるのは確実というか、実際にそうなってました。

それを思うと、会社で毎日使えると言うのは嬉しいですよ。

メカニカル キーボードはこれしか持っていないので、比較はできないですけど、打ち心地は好きなので、個人的に満足しています。

ただ、一点だけ懸念していることがあります。

実は自分の Hyper X キーボードは US 配列なんです・・・。

日本語を打つ必要があるので、IME は日本語設定ですが、その場合、アンダーバーやパイプが打てません。

なので、一度 IME を変えてから入力して、再度 IME を元に戻す必要があります。

幸いに、IME の切り替えはショートかっとが簡単なのでそこまで時間はかかりませんし、慣れれば大丈夫かと思ってますが、まあ多少は不便だなと思っています。

とは言いましても、そのストレスを差し引いても打ちやすさでプラス評価ですので、しばらくはこのまま使用するつもりです。

自宅用のメカニカル キーボードがなくなってしまったんですが、MX Keys Mini を Logibolt で接続しているので、対応のメカニカル キーボードを自宅用に購入しようと思っています。

さて、いろいろ書いてきましたけど、会社でキーボードを変えての感想として、仕事が楽しくなったのは間違いないです。

少なくとも、今まで感じていたキーボードのストレスは無くなりましたからね。

仕事しているだけでストレスなんですから、少しでも楽しくなるようにこれからも環境は整えていくつもりです。

いいものがあったらまた紹介するような記事も書いていこうと思います。

それではこの辺で。

おやすみなさい。