クラスター管理

クラスタの構築方法を理解したら、次はその管理方法を知る必要がある。クラウド環境では、クラスタが「実行中」状態にある間、毎秒課金される。プロフェッショナルなデータエンジニアやアナリストには、コードの記述だけでなく、リソースを効率的に管理し、会社や自身の予算を無駄にしない知識も求められる。

クラスタステータスの理解

Compute ページを見ると、クラスタ名の横にさまざまなステータスアイコンが表示されます。これらを理解することは、コードを実行できるかどうかを知るための重要なポイントです。

• Running（緑色の円）: エンジンが稼働中で準備完了。ノートブックやクエリをすぐに実行可能；
• Terminated（灰色の円）: エンジンが停止中。コストは $0 ですが、再起動するまでコードの実行は不可；
• Pending（回転する円）: クラスタが「ウォームアップ中」。クラウドプロバイダーがハードウェアを割り当てています；
• Restarting: クラスタがシャットダウンし、すぐに再起動中。設定変更後に便利です。

手動コントロール：開始、停止、再起動

リストビューでクラスタの右側に、いくつかのアクションアイコンが表示されます：

• 再生ボタン（開始）: 朝出勤した際に使用。"Terminated" から "Running" まで約3～5分かかります；
• 四角ボタン（停止/終了）: 作業が終わったらすぐに使用。クリックすると課金が即座に停止します。重要：クラスタの終了は作業内容やノートブックを削除しません。単に「エンジン」を停止し、メモリをクリアします（メモリ内の変数は削除されます。これは自分のコンピュータをシャットダウンした場合と同様です）。

• 円形矢印（再起動）: クラスターの動作が遅い場合や、新しいライブラリをインストールしてリフレッシュが必要な場合は、再起動ボタンを使用。

編集とクローン

構築した「エンジン」が思った通りでないことに気付く場合があります。

• 編集: クラスター名をクリックして「編集」を選択することで、クラスターのサイズやランタイムバージョンを変更可能。ハードウェアの変更を保存するには、通常クラスターを終了する必要あり；
• クローン: 現在の設定が気に入っていて、同じ構成のクラスターをもう一つ作成したい場合（例えば別プロジェクト用）、クローンボタンを使うことで、すべての設定を一から入力し直す手間を省ける。

節約の黄金ルール

最もコストがかかるクラスターは、「実行中」でありながら何も処理していないクラスターです。毎日ログアウトする前に必ずコンピュートタブを確認する習慣をつけましょう。緑色のランプが点灯していて、コードの実行が終わっている場合は、必ず**四角（停止）**ボタンをクリックしてください。ビッグデータの世界では、「開始」と同じくらい「停止」も重要です。