Gestion des Clusters

Maintenant que vous savez comment créer un cluster, il est important de savoir comment le gérer. Dans le cloud, chaque seconde pendant laquelle un cluster est en état « Running » est facturée. Être un ingénieur ou analyste de données professionnel ne consiste pas seulement à savoir coder, mais aussi à gérer efficacement vos ressources afin de ne pas gaspiller le budget de votre entreprise (ou le vôtre).

Comprendre les statuts des clusters

Lorsque vous consultez la page Compute, différents icônes de statut apparaissent à côté du nom de votre cluster. Comprendre ces icônes est essentiel pour savoir si vous pouvez exécuter du code :

• En cours d’exécution (Cercle vert) : moteur prêt à l’emploi. Exécution instantanée des notebooks et requêtes ;
• Arrêté (Cercle gris) : moteur éteint. Aucun coût, mais impossible d’exécuter du code tant qu’il n’est pas redémarré ;
• En attente (Cercle en rotation) : le cluster est en « chauffe ». Le fournisseur cloud alloue actuellement le matériel ;
• Redémarrage : le cluster s’arrête puis redémarre immédiatement, utile après une modification de configuration.

Contrôles manuels : Démarrer, arrêter et redémarrer

À droite de votre cluster dans la vue en liste, plusieurs icônes d’action sont disponibles :

• Bouton Lecture (Démarrer) : à utiliser en début de journée. Environ 3 à 5 minutes pour passer de « Arrêté » à « En cours d’exécution » ;
• Bouton Carré (Arrêter/Stopper) : à utiliser dès la fin d’une tâche. Un clic arrête immédiatement la facturation. Important : arrêter un cluster ne supprime ni votre travail ni vos notebooks ; cela éteint simplement le « moteur » et efface la mémoire (les variables en mémoire seront supprimées, comme lors de l’arrêt d’un ordinateur).

• La flèche circulaire (Redémarrer) : si votre cluster semble lent ou si vous avez installé une nouvelle bibliothèque nécessitant un rafraîchissement, utilisez le bouton Redémarrer.

Modifier vs. Cloner

Parfois, vous réalisez que le « moteur » que vous avez construit n'est pas tout à fait adapté.

• Modifier : possibilité de changer la taille de votre cluster ou la version du runtime en cliquant sur le nom puis en sélectionnant « Modifier ». Notez qu'il est généralement nécessaire de terminer le cluster avant de pouvoir enregistrer les modifications matérielles ;
• Cloner : si la configuration actuelle vous convient mais que vous souhaitez un second cluster identique (par exemple pour un autre projet), le bouton « Cloner » vous évite de devoir ressaisir tous les paramètres depuis le début.

La règle d'or pour économiser de l'argent

Le cluster le plus coûteux est celui qui est « En cours d'exécution » mais qui ne fait absolument rien. Prenez toujours l'habitude de vérifier votre onglet Compute avant de vous déconnecter en fin de journée. Si vous voyez un voyant vert et que vous n'exécutez plus de code, cliquez sur le bouton Carré (Arrêter). Dans le domaine du Big Data, « Arrêter » est tout aussi important que « Démarrer ».