Gerenciamento de Cluster

Agora que você sabe como criar um cluster, é necessário saber como gerenciá-lo. Na nuvem, você é cobrado por cada segundo em que um cluster está no estado "Em execução". Ser um engenheiro ou analista de dados profissional significa não apenas saber programar, mas também saber gerenciar seus recursos de forma eficiente para não desperdiçar o orçamento da empresa (ou o seu próprio).

Compreendendo os status do cluster

Ao acessar a página Compute, diferentes ícones de status aparecem ao lado do nome do seu cluster. Compreender esses ícones é fundamental para saber se é possível executar códigos:

• Em execução (Círculo verde): o mecanismo está ativo e pronto. Execução instantânea de notebooks e consultas;
• Encerrado (Círculo cinza): o mecanismo está desligado. Não há custos, mas não é possível executar códigos até que seja iniciado novamente;
• Pendente (Círculo giratório): o cluster está "aquecendo". O provedor de nuvem está alocando o hardware para você;
• Reiniciando: o cluster está sendo desligado e iniciado novamente, útil caso alguma configuração tenha sido alterada.

Controles manuais: iniciar, parar e reiniciar

No lado direito do seu cluster na visualização em lista, vários ícones de ação estão disponíveis:

• Botão de reprodução (Iniciar): utilizado ao iniciar o expediente. O processo leva cerca de 3 a 5 minutos para ir de "Encerrado" para "Em execução";
• Botão quadrado (Encerrar/Parar): utilizado assim que a tarefa for concluída. Ao clicar, a cobrança é interrompida imediatamente. Importante: Encerrar um cluster não apaga seu trabalho ou notebooks; apenas desliga o "mecanismo" e limpa a memória (variáveis armazenadas em memória serão excluídas, assim como ocorre ao desligar um computador).

• A seta circular (Reiniciar): caso o seu cluster esteja lento ou você tenha instalado uma nova biblioteca que exija atualização, utilize o botão Reiniciar.

Editar vs. Clonar

Às vezes, você percebe que o "motor" que construiu não está totalmente correto.

• Editar: permite alterar o tamanho do cluster ou a versão do runtime clicando no nome e selecionando "Editar". Observe que normalmente é necessário encerrar o cluster antes de salvar alterações no hardware;
• Clonar: se você gosta da configuração atual, mas deseja um segundo cluster idêntico (talvez para outro projeto), o botão "Clonar" economiza o tempo de preencher todas as configurações novamente.

A Regra de Ouro para Economizar Dinheiro

O cluster mais caro é aquele que está "Em execução" mas não está fazendo absolutamente nada. Sempre verifique a guia Compute antes de sair ao final do dia. Se você vir uma luz verde e não estiver mais executando nenhum código, clique no botão Quadrado (Parar). No universo de Big Data, "Parar" é tão importante quanto "Iniciar".