Керування Кластерами

Тепер, коли ви знаєте, як створити кластер, потрібно навчитися ним керувати. У хмарі оплата здійснюється за кожну секунду, коли кластер перебуває у стані "Running". Бути професійним дата-інженером або аналітиком означає не лише вміти писати код, а й ефективно керувати ресурсами, щоб не витрачати бюджет компанії чи власний.

Розуміння статусів кластера

Коли ви переглядаєте сторінку Compute, поруч із назвою вашого кластера відображаються різні іконки статусу. Розуміння цих іконок допомагає визначити, чи можна запускати код:

• Running (зелений круг): рушій активний і готовий до роботи. Можливий миттєвий запуск ноутбуків і запитів;
• Terminated (сірий круг): рушій вимкнений. Вартість $0, але запуск коду неможливий, поки кластер не буде знову запущено;
• Pending (обертовий круг): кластер "розігрівається". Хмарний провайдер наразі виділяє для вас апаратні ресурси;
• Restarting: кластер вимикається і одразу запускається знову, що корисно при зміні налаштувань конфігурації.

Ручне керування: запуск, зупинка та перезапуск

Праворуч від вашого кластера у списку відображаються декілька іконок дій:

• Кнопка Play (Запуск): використовуйте її на початку робочого дня. Перехід із "Terminated" до "Running" займає приблизно 3–5 хвилин;
• Кнопка Square (Завершити/Зупинити): натискайте її одразу після завершення роботи. Це миттєво зупиняє нарахування вартості. Важливо: завершення роботи кластера не видаляє ваші дані чи ноутбуки; це лише вимикає "рушій" і очищає пам'ять (змінні, що зберігалися в пам'яті, будуть видалені, як і при вимкненні власного комп'ютера).

• Кругова стрілка (Перезапуск): якщо кластер працює повільно або ви встановили нову бібліотеку, яка потребує оновлення, скористайтеся кнопкою Перезапуск.

Редагування vs. Клонування

Іноді ви розумієте, що створений вами "двигун" не зовсім підходить.

• Редагування: можна змінити розмір кластера або версію середовища виконання, натиснувши на назву та вибравши "Редагувати". Зверніть увагу, що зазвичай потрібно завершити роботу кластера, перш ніж зберегти зміни до його апаратного забезпечення;
• Клонування: якщо поточна конфігурація вас влаштовує, але потрібен другий, ідентичний кластер (наприклад, для іншого проєкту), кнопка "Клонувати" дозволяє швидко створити копію без повторного введення всіх налаштувань.

Золоте правило економії коштів

Найдорожчий кластер — це той, який "Працює", але абсолютно нічого не виконує. Завжди звіряйте вкладку Compute перед виходом із системи наприкінці дня. Якщо бачите зелене світло і більше не запускаєте код, натисніть кнопку Square (Stop). У світі Big Data "Зупинити" так само важливо, як і "Запустити".