Databricks Pilvessä (AWS, Azure, GCP)

Yksi yleisimmistä aloittelijoiden kysymyksistä on: "Missä Databricks oikeastaan sijaitsee?" Onko se ohjelmisto, jonka asennan kannettavalleni? Onko se verkkosivusto? Vastaus on, että Databricks on pilvinatiivi alusta. Se ei sijaitse fyysisellä palvelimella toimistossasi, vaan se toimii kokonaan maailman suurimpien pilvipalveluntarjoajien, kuten AWS:n, Azuren ja Googlen pilven, valtavissa infrastruktuureissa.

"Agnostinen" etu

Perinteisesti datatyökalun opettelu tarkoitti sitoutumista tiettyyn ekosysteemiin. Jos opit työkalun AWS:ssä, se saattoi näyttää ja tuntua täysin erilaiselta kuin Azurella. Databricks on ainutlaatuinen, koska se on "pilviagnostinen". Käyttipä yrityksesi sitten Azuren sinistä käyttöliittymää, AWS:n oranssia tai Googlen värikkäitä kuvakkeita, Databricks-kokemus pysyy lähes identtisenä.

Tämä on valtava etu urallesi. Jos opit hallitsemaan klustereita ja kirjoittamaan muistikirjoja tällä kurssilla, nämä taidot ovat 100 % siirrettävissä. Opit datan universaalia kieltä, joka toimii riippumatta siitä, minkä pilvipalveluntarjoajan yritys valitsee.

Kuinka Databricks kytkeytyy pilveen

Ajattele pilvipalveluntarjoajaa – kuten AWS:ää – valtavana energiayhtiönä, joka toimittaa sähköä ja vettä koko kaupungille. Databricks on kuin huippuluokan älykoti, joka hyödyntää näitä palveluita suorittaakseen vaikuttavia tehtäviä. Se tukeutuu pilveen kolmessa pääasiassa:

• Tallennus: kun tallennat dataa Databricksiin, se tallennetaan todellisuudessa pilvipalveluntarjoajan edulliseen, pysyvään tallennustilaan, kuten AWS S3 -säiliöön tai Azure Data Lake Storageen.
• Laskenta: kun käynnistät Clusterin, Databricks ottaa yhteyttä pilvipalveluntarjoajaan ja pyytää käytännössä: "Lainaa minulle neljä virtuaalipalvelinta tunniksi tämän laskennan suorittamiseen".
• Turvallisuus: se hyödyntää pilven sisäänrakennettua yritystason tietoturvaa varmistaakseen, että vain valtuutetut käyttäjät pääsevät työtilaan.

Miksi ei vain käytettäisi pilvipalveluntarjoajan omia työkaluja?

Saatat miettiä: "Jos olen jo Azuren käyttäjä, miksi en käyttäisi vain Azuren omia työkaluja?" Tässä kohtaa Databricksin tehokkuus ja yksinkertaisuus tulevat esiin. Vaikka pilvipalveluntarjoajat tarjoavat omia yksittäisiä palveluitaan, ne ovat usein hajanaisia. Saatat tarvita yhtä työkalua datan puhdistukseen, toista koneoppimiseen ja kolmatta SQL-raportointiin.

Databricks toimii yhtenäisenä kerroksena. Se sijoittuu kaikkien näiden monimutkaisten pilvipalveluiden päälle ja tarjoaa yhden, selkeän käyttöliittymän niiden hallintaan. Se hoitaa "putkiston" – verkot, palvelinasetukset ja ohjelmistopäivitykset – jotta voit keskittyä täysin dataasi.

Globaali mittakaava

Koska Databricks toimii pilvessä, se hyötyy niiden globaalista kattavuudesta. Jos yritykselläsi on asiakkaita Euroopassa ja Aasiassa, voit perustaa Databricks-työtilan juuri näihin alueisiin. Tämä varmistaa, että "Clusterit" sijaitsevat fyysisesti lähellä dataasi, jolloin kyselyt suoritetaan nopeammin ja yrityksesi noudattaa paikallisia tietosuojalakeja.

Yhteenvetona: pilvi on perusta, mutta Databricks on työkalupakki, joka tekee siitä perustasta hyödyllisen data-ammattilaisille.