Databricks у Хмарі (AWS, Azure, GCP)

Одне з найпоширеніших запитань початківців: «Де саме знаходиться Databricks?» Чи це програмне забезпечення, яке потрібно встановити на ноутбук? Чи це вебсайт? Відповідь: Databricks — це хмарно-орієнтована платформа. Вона не існує на фізичному сервері у вашому офісі; вона повністю розміщена в масштабних інфраструктурах найбільших світових хмарних провайдерів: AWS, Azure та Google Cloud.

Перевага «агностичності»

Традиційно вивчення інструменту для роботи з даними означало прив’язаність до певної екосистеми. Якщо ви опановували інструмент на AWS, він міг виглядати й працювати зовсім інакше на Azure. Databricks унікальний тим, що є «хмарно-агностичним». Незалежно від того, чи ваша компанія використовує синій інтерфейс Azure, помаранчевий AWS або кольорові іконки Google, досвід роботи з Databricks майже ідентичний.

Це величезна перевага для вашої кар’єри. Якщо ви навчитеся керувати кластерами та писати ноутбуки в цьому курсі, ці навички будуть на 100% універсальними. Ви опановуєте універсальну мову даних, яка працює незалежно від того, якого хмарного провайдера обирає компанія.

Як Databricks інтегрується з хмарою

Уявіть собі хмарного провайдера — наприклад, AWS — як величезну комунальну компанію, що постачає електроенергію та воду цілому місту. Databricks — це як сучасний розумний будинок, який підключається до цих комунальних послуг для виконання складних завдань. Він покладається на хмару у трьох основних аспектах:

• Сховище: коли ви зберігаєте дані в Databricks, вони фактично зберігаються у недорогому, постійному сховищі хмарного провайдера, такому як AWS S3 bucket або Azure Data Lake Storage.
• Обчислення: коли ви запускаєте Cluster, Databricks звертається до хмарного провайдера з проханням: "Позич мені чотири віртуальні сервери на годину для виконання цього обчислення".
• Безпека: використання вбудованої корпоративної безпеки хмари для забезпечення доступу до робочого простору лише авторизованим користувачам.

Чому не використовувати лише інструменти хмарного провайдера?

Можливо, виникне питання: "Якщо я вже на Azure, чому не скористатися лише вбудованими інструментами Azure?" Саме тут проявляється ефективність і простота Databricks. Хоча хмарні провайдери пропонують власні сервіси, вони часто фрагментовані. Для очищення даних потрібен один інструмент, для машинного навчання — інший, для SQL-звітності — третій.

Databricks виступає як уніфікований шар. Він розташовується над усіма цими складними хмарними сервісами та надає єдиний, зручний інтерфейс для їх керування. Databricks бере на себе "інфраструктуру" — мережі, налаштування серверів, оновлення програмного забезпечення — щоб ви могли повністю зосередитися на роботі з даними.

Глобальний масштаб

Оскільки Databricks працює у хмарі, він користується її глобальною присутністю. Якщо у вашої компанії є клієнти в Європі та Азії, ви можете розмістити робочий простір Databricks у відповідних регіонах. Це забезпечує фізичну близькість "Clusters" до ваших даних, що пришвидшує виконання запитів і допомагає компанії дотримуватися місцевих законів про захист даних.

Коротко кажучи, хмара — це фундамент, а Databricks — це інструментарій, який робить цей фундамент корисним для фахівців з даних.