さあ、頑張って続きを書いていきます。
あと必要な知識は一つ。
JSON ファイルの記述方法です。
JSON は、Java Script Object Notation の略だそうです。
簡単にいえば表ですが、Excel で作成するようなものとは形式が違うので確認が必要です。
試しに Create new cluster で使用した JSON を記載してみるとこんな感じです。
{"num_workers": 0, "cluster_name": "test_cluster", "spark_version": "13.3.x-scala2.12", "node_type_id": "Standard_DS3_v2", "autotermination_minutes": 10, "policy_id": "0018E8D9BFF55262", "data_security_mode": "SINGLE_USER", "single_user_name": "koiyan skype"}
これを見やすく整理するとこんな感じです。
{
"num_workers": 0,
"cluster_name": "test_cluster",
"spark_version": "13.3.x-scala2.12",
"node_type_id": "Standard_DS3_v2",
"autotermination_minutes": 10,
"policy_id": "0018E8D9BFF55262",
"data_security_mode": "SINGLE_USER",
"single_user_name": "koiyan skype"
}
こんな感じで、: を挟んで左側にキーを入力して、右側に値を入力します。
数字とか、true, faulse 以外は "" で囲って記述します。
詳しいルールは記述するときに調べればすぐに出てきます。
それは Databricks に関係なく、JSON の書き方です。
複数の情報があるので、情報同士は , で区切ります。
最後は区切る必要がないので、, がありません。
これで、必要な知識は揃いました。
クラスターを作成するためのコードはこんな感じ。
curl --request POST "https://adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net/api/2.0/clusters/create" --header "Authorization: Bearer dapixxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" --data '{"num_workers": 0, "cluster_name": "test_cluster", "spark_version": "13.3.x-scala2.12", "node_type_id": "Standard_DS3_v2", "autotermination_minutes": 10, "policy_id": "0018E8D9BFF56493", "data_security_mode": "SINGLE_USER", "single_user_name": "user_name"}'
試しにこれをシェルスクリプトとして保存して、実行してみたら、クラスターが作成されました。
というわけで、今回は Databricks API の備忘録でした。
繰り返しになりますが、自分が学習した範囲の内容ですので、余計なこともあるかもしれないですし、間違ったことを書いている可能性もあります。
これを使用して、損害などが発生しても当方は責任を負いませんので、自己責任で学習を進めてください。
と、身の上の保険をかけたところで今回はこの辺で終わります。
お疲れ様でした。
