Sprachenmischung mit Magic Commands

Eine der leistungsstärksten Funktionen des Databricks-Notebooks ist seine polyglotte Natur. Es ist nicht erforderlich, sich zwischen „Python-Person“ oder „SQL-Person“ zu entscheiden. Stattdessen wird das jeweils beste Werkzeug für den spezifischen Projektschritt verwendet. Dies wird durch Magic Commands ermöglicht.

Die Standardsprache vs. Magic Commands

Jedes Notebook verfügt über eine „Standardsprache“, die beim Erstellen der Datei ausgewählt wird. Diese Sprache (z. B. Python) ist neben dem Notizbuchnamen oben auf dem Bildschirm sichtbar. In einem Python-Notebook geht jede Zelle standardmäßig davon aus, dass sie Python ist, sofern nichts anderes angegeben wird. Um die Standardsprache für eine einzelne Zelle zu überschreiben, beginnt die Zelle mit einem Magic Command.

Wechsel zu SQL mit %sql

Sie haben bereits %sql kennengelernt. In einem überwiegend Python-basierten Notebook möchten Sie häufig schnell den Inhalt einer Tabelle mit einer Standard-SQL-Abfrage überprüfen.

%sql
SELECT count(*) 
FROM workspace.default.diamonds

Wenn Sie %sql ganz oben platzieren, ignoriert der Databricks-Cluster den Python-Interpreter für diese Zelle und verwendet stattdessen die SQL-Engine. Dadurch können Sie Daten mit der Geschwindigkeit von SQL erkunden und anschließend in der nächsten Zelle mit Ihrer Python-Logik fortfahren.

Dokumentation mit %md (Markdown)

Datenarbeit ist kollaborativ, daher muss Ihr Code für andere lesbar sein. Der %md Magic Command ermöglicht das Schreiben von Markdown, einer einfachen Methode zur Erstellung von formatiertem Text, Überschriften und Aufzählungspunkten.

Wenn Sie eine Zelle mit %md ausführen, wird kein Code ausgeführt; der Text wird als professionell aussehendes Dokument dargestellt.

%md
# Project: Diamonds
This notebook explores the **Diamonds Sales Data** from two years ago.
* Step 1: Data Cleaning
* Step 2: Aggregation

Ausführen von Python in einem SQL-Notebook mit %python

Das Gegenteil ist ebenfalls möglich. Wenn Sie in einem SQL-Standard-Notebook arbeiten, können Sie %python verwenden, um Aufgaben auszuführen, für die SQL nicht vorgesehen ist, wie beispielsweise eine komplexe Schleife oder eine Machine-Learning-Vorhersage.

Weitere nützliche Magics

Neben dem Wechseln der Sprache gibt es Magics zur Interaktion mit der Umgebung:

• %run: Wird verwendet, um ein anderes Notebook aus dem aktuellen Notebook heraus auszuführen. Dies ist hilfreich, um Hilfsfunktionen oder gemeinsam genutzte Variablen zu importieren:

• %pip: Wird verwendet, um bestimmte Python-Bibliotheken direkt in die Sitzung deines Clusters zu installieren, ohne das Notebook zu verlassen:

Durch das Beherrschen dieser Befehle werden deine Notebooks von reinen „Code-Dateien“ zu umfassenden, gut dokumentierten Datenberichten.