Kielten Yhdistäminen Magic-Komentojen Avulla

Yksi Databricks-muistikirjan tehokkaimmista ominaisuuksista on sen polyglottisuus. Sinun ei tarvitse valita, oletko "Python-ihminen" vai "SQL-ihminen". Sen sijaan voit käyttää parasta työkalua kuhunkin projektin vaiheeseen. Tämä on mahdollista Magic-komentojen ansiosta.

Oletuskieli vs. Magic-komennot

Jokaisella muistikirjalla on "Oletuskieli", jonka valitsit tiedostoa luodessasi. Näet tämän kielen (esim. Python) muistikirjan nimen vieressä näytön yläosassa. Python-muistikirjassa jokainen solu olettaa olevansa Pythonia, ellei toisin ilmoiteta. Voit ohittaa oletuksen yksittäisessä solussa aloittamalla solun Magic-komennolla.

Vaihtaminen SQL-kieleen komennolla %sql

Olet jo nähnyt %sql-komennon. Kun työskentelet Python-painotteisessa muistikirjassa, haluat usein nopeasti tarkistaa taulun sisällön käyttämällä tavallista SQL-kyselyä.

%sql
SELECT count(*) 
FROM workspace.default.diamonds

Kun asetat %sql-komennon solun alkuun, Databricks-klusteri ohittaa Python-tulkinnan kyseisessä solussa ja käyttää sen sijaan SQL-moottoria. Tämä mahdollistaa datan tutkimisen SQL:n nopeudella, minkä jälkeen voit siirtyä seuraavaan soluun jatkamaan Python-logiikkaa.

Dokumentointi %md (Markdown)

Tietotyö on yhteistyötä, joten koodisi tulee olla muiden luettavissa. %md-magic-komennolla voit kirjoittaa Markdownia, joka on yksinkertainen tapa luoda muotoiltua tekstiä, otsikoita ja luettelomerkkejä.

Kun suoritat solun, joka alkaa %md-komennolla, se ei suorita koodia, vaan näyttää tekstin ammattimaisen näköisenä dokumenttina.

%md
# Project: Diamonds
This notebook explores the **Diamonds Sales Data** from two years ago.
* Step 1: Data Cleaning
* Step 2: Aggregation

Pythonin suorittaminen SQL-muistikirjassa %python-komennolla

Myös päinvastainen on mahdollista. Jos työskentelet SQL-oletusmuistikirjassa, voit käyttää %python-komentoa suorittaaksesi tehtäviä, joihin SQL ei sovellu, kuten monimutkaisen silmukan tai koneoppimisennusteen.

Muita hyödyllisiä magic-komentoja

Kielenvaihdon lisäksi on olemassa komentoja ympäristön kanssa vuorovaikutukseen:

• %run: Käytetään toisen muistikirjan suorittamiseen nykyisestä muistikirjasta käsin. Tämä on hyödyllistä apufunktioiden tai jaettujen muuttujien tuomisessa:

• %pip: Käytetään tiettyjen Python-kirjastojen asentamiseen suoraan klusterin istuntoon poistumatta muistikirjasta:

Näiden komentojen hallitsemalla muistikirjoista tulee pelkkien "kooditiedostojen" sijaan kattavia, hyvin dokumentoituja datatarinoita.