Gestione Dei Cluster

Ora che sai come creare un cluster, è necessario sapere come gestirlo. Nel cloud, la fatturazione avviene per ogni secondo in cui un cluster si trova nello stato "Running". Essere un data engineer o analyst professionista significa non solo saper scrivere codice, ma anche gestire le risorse in modo efficiente per evitare sprechi di budget aziendale (o personale).

Comprensione degli stati del cluster

Quando visualizzi la pagina Compute, vedrai diverse icone di stato accanto al nome del tuo cluster. Comprendere questi stati è fondamentale per sapere se puoi eseguire il codice:

• In esecuzione (Cerchio verde): il motore è attivo e pronto. Puoi eseguire notebook e query immediatamente;
• Terminato (Cerchio grigio): il motore è spento. Il costo è $0, ma non puoi eseguire alcun codice finché non lo riavvii;
• In attesa (Cerchio rotante): il cluster si sta "riscaldando". Il provider cloud sta attualmente allocando l'hardware per te;
• Riavvio: il cluster si sta spegnendo e riaccendendo immediatamente, utile se hai modificato una configurazione.

Controlli manuali: Avvia, Arresta e Riavvia

Sul lato destro del tuo cluster nella visualizzazione elenco, vedrai diverse icone di azione:

• Pulsante Play (Avvia): da utilizzare quando inizi a lavorare al mattino. Occorrono circa 3 - 5 minuti per passare da "Terminato" a "In esecuzione.";
• Pulsante Quadrato (Termina/Arresta): da utilizzare non appena hai terminato un'attività. Facendo clic su questo pulsante si interrompe immediatamente la fatturazione. Importante: Terminare un cluster non elimina il tuo lavoro o i tuoi notebook; semplicemente spegne il "motore" e cancella la memoria (quindi le variabili memorizzate in memoria verranno eliminate, come accadrebbe se spegnessi il tuo computer).

• La freccia circolare (Riavvia): se il cluster risulta lento o hai installato una nuova libreria che richiede un aggiornamento, utilizza il pulsante Riavvia.

Modifica vs. Clona

A volte ti accorgi che il "motore" che hai creato non è proprio quello giusto.

• Modifica: puoi cambiare la dimensione del cluster o la versione del runtime cliccando sul nome e selezionando "Modifica". Nota che di solito è necessario terminare il cluster prima di poter salvare le modifiche all'hardware;
• Clona: se ti piace la configurazione attuale ma desideri un secondo cluster identico (magari per un altro progetto), il pulsante "Clona" ti permette di risparmiare tempo evitando di reinserire tutte le impostazioni da zero.

La regola d'oro per risparmiare denaro

Il cluster più costoso è quello che è "In esecuzione" ma non sta facendo assolutamente nulla. Abitua sempre a controllare la scheda Compute prima di disconnetterti a fine giornata. Se vedi una luce verde e non stai più eseguendo codice, clicca sul pulsante Quadrato (Arresta). Nel mondo del Big Data, "Arrestare" è importante quanto "Avviare".