Clusterbeheer

Nu je weet hoe je een cluster bouwt, moet je ook weten hoe je deze beheert. In de cloud betaal je voor elke seconde dat een cluster zich in de "Running"-status bevindt. Een professionele data engineer of analist zijn betekent niet alleen weten hoe je code schrijft, maar ook hoe je je resources efficiënt beheert zodat je het budget van je bedrijf (of van jezelf) niet verspilt.

Inzicht in clusterstatussen

Wanneer je naar de Compute-pagina kijkt, zie je verschillende statuspictogrammen naast de naam van je cluster. Het begrijpen hiervan is essentieel om te weten of je code kunt uitvoeren:

• Running (Groene cirkel): de engine is actief en klaar. Je kunt direct notebooks en queries uitvoeren;
• Terminated (Grijze cirkel): de engine is uitgeschakeld. Dit kost $0, maar je kunt geen code uitvoeren totdat je deze opnieuw start;
• Pending (Draaiende cirkel): de cluster is aan het "opwarmen". De cloudprovider reserveert momenteel de hardware voor je;
• Restarting: de cluster wordt afgesloten en direct opnieuw opgestart, wat handig is als je een configuratie hebt gewijzigd.

Handmatige bediening: Starten, stoppen en herstarten

Aan de rechterkant van je cluster in de lijstweergave zie je verschillende actie-iconen:

• De afspeelknop (Starten): te gebruiken wanneer je 's ochtends op het werk aankomt. Het duurt ongeveer 3 - 5 minuten om van "Terminated" naar "Running" te gaan;
• De vierkante knop (Beëindigen/Stoppen): te gebruiken zodra je klaar bent met een taak. Door hierop te klikken stopt de facturatie direct. Belangrijk: het beëindigen van een cluster verwijdert je werk of notebooks niet; het schakelt alleen de "engine" uit en wist het geheugen (dus variabelen die in het geheugen zijn opgeslagen worden verwijderd, net zoals bij het afsluiten van je eigen computer).

• De cirkelvormige pijl (Herstarten): als je cluster traag aanvoelt of je hebt een nieuwe bibliotheek geïnstalleerd die een verversing vereist, gebruik dan de knop Herstarten.

Bewerken vs. Klonen

Soms merk je dat de "engine" die je hebt gebouwd niet helemaal juist is.

• Bewerken: je kunt de grootte van je cluster of de runtime-versie wijzigen door op de naam te klikken en "Bewerken" te selecteren. Houd er rekening mee dat je meestal het cluster moet beëindigen voordat je wijzigingen aan de hardware kunt opslaan;
• Klonen: als je tevreden bent met je huidige configuratie maar een tweede, identiek cluster wilt (bijvoorbeeld voor een ander project), bespaart de knop "Klonen" je de tijd om alle instellingen opnieuw in te vullen.

De gouden regel van geld besparen

Het duurste cluster is het cluster dat "Actief" is maar helemaal niets doet. Controleer altijd je Compute-tabblad voordat je aan het einde van de dag uitlogt. Zie je een groen lampje en draait er geen code meer, klik dan op die Vierkant (Stop)-knop. In de wereld van Big Data is "Stoppen" net zo belangrijk als "Starten."