Blanding af Sprog med Magiske Kommandoer

En af de mest kraftfulde funktioner i Databricks-notebooks er dens polyglotte karakter. Det er ikke nødvendigt at vælge mellem at være en "Python-person" eller en "SQL-person." I stedet bruges det bedste værktøj til det specifikke trin i projektet. Dette muliggøres gennem Magic Commands.

Standardsprog vs. Magic Commands

Hver notebook har et "Standardsprog", som vælges, når filen oprettes. Dette sprog (f.eks. Python) vises ved siden af notebook-navnet øverst på skærmen. I en Python-notebook antager hver celle, at den er Python, medmindre andet angives. For at tilsidesætte standarden for en enkelt celle startes cellen med en Magic Command.

Skift til SQL med %sql

Du har allerede set %sql. Når du arbejder i en notebook med meget Python, vil du ofte hurtigt tjekke indholdet af en tabel ved hjælp af en standard SQL-forespørgsel.

%sql
SELECT count(*) 
FROM workspace.default.diamonds

Ved at placere %sql øverst ignorerer Databricks-klyngen Python-fortolkeren for den pågældende celle og bruger i stedet SQL-motoren. Dette gør det muligt at udføre dataudforskning med SQL's hastighed og derefter fortsætte Python-logikken i den næste celle.

Dokumentation med %md (Markdown)

Dataarbejde er samarbejdsbaseret, hvilket betyder, at din kode skal være læsbar for andre. Magic-kommandoen %md giver dig mulighed for at skrive Markdown, som er en enkel måde at oprette formateret tekst, overskrifter og punktlister på.

Når du kører en celle, der starter med %md, udføres der ikke kode; teksten vises i stedet som et professionelt udseende dokument.

%md
# Project: Diamonds
This notebook explores the **Diamonds Sales Data** from two years ago.
* Step 1: Data Cleaning
* Step 2: Aggregation

Kørsel af Python i en SQL-notesbog med %python

Det modsatte gælder også. Hvis du arbejder i en SQL-standardnotesbog, kan du bruge %python til at udføre en opgave, som SQL ikke er designet til, såsom et komplekst loop eller en maskinlæringsforudsigelse.

Andre nyttige magics

Ud over at skifte sprog findes der magics til at interagere med miljøet:

• %run: Bruges til at køre en anden notesbog fra din nuværende notesbog. Dette er nyttigt til at importere hjælpefunktioner eller delte variabler:

• %pip: Bruges til at installere specifikke Python-biblioteker direkte i din clusters session uden at forlade notebooken:

Ved at mestre disse kommandoer forvandles dine notebooks fra blot at være "kodefiler" til at blive omfattende, veldokumenterede datahistorier.