Talen Combineren met Magische Commando's

Een van de krachtigste eigenschappen van het Databricks-notebook is het polyglotte karakter. Je hoeft niet te kiezen tussen een "Python-persoon" of een "SQL-persoon" zijn. In plaats daarvan gebruik je het beste hulpmiddel voor de specifieke stap van je project. Dit wordt mogelijk gemaakt door Magic Commands.

De standaardtaal versus Magic Commands

Elk notebook heeft een "standaardtaal" die je kiest bij het aanmaken van het bestand. Je ziet deze taal (bijvoorbeeld Python) naast de naam van het notebook bovenaan het scherm. In een Python-notebook gaat elke cel ervan uit dat het Python is, tenzij je anders aangeeft. Om de standaardtaal voor één cel te overschrijven, begin je de cel met een Magic Command.

Overschakelen naar SQL met %sql

Je hebt %sql al gezien. In een notebook waarin vooral Python wordt gebruikt, wil je vaak snel de inhoud van een tabel controleren met een standaard SQL-query.

%sql
SELECT count(*) 
FROM workspace.default.diamonds

Door %sql helemaal bovenaan te plaatsen, negeert het Databricks-cluster de Python-interpreter voor die cel en gebruikt het in plaats daarvan de SQL-engine. Hiermee kun je data verkennen met de snelheid van SQL en vervolgens in de volgende cel verdergaan met je Python-logica.

Documentatie met %md (Markdown)

Samenwerking staat centraal bij datawerk, wat betekent dat je code leesbaar moet zijn voor anderen. De %md magic command stelt je in staat om Markdown te schrijven, een eenvoudige manier om opgemaakte tekst, koppen en opsommingstekens te maken.

Wanneer je een cel uitvoert die begint met %md, wordt er geen code uitgevoerd; de tekst wordt weergegeven als een professioneel ogend document.

%md
# Project: Diamonds
This notebook explores the **Diamonds Sales Data** from two years ago.
* Step 1: Data Cleaning
* Step 2: Aggregation

Python uitvoeren in een SQL-notebook met %python

Het omgekeerde is ook waar. Als je werkt in een SQL-standaardnotebook, kun je %python gebruiken om een taak uit te voeren waarvoor SQL niet is ontworpen, zoals een complexe lus of een machine learning-voorspelling.

Andere nuttige magics

Naast het wisselen van taal zijn er magics voor interactie met de omgeving:

• %run: Gebruikt om een ander notebook uit te voeren vanuit je huidige notebook. Dit is handig voor het importeren van hulpfuncties of gedeelde variabelen:

• %pip: Gebruikt om specifieke Python-bibliotheken direct in de sessie van je cluster te installeren zonder de notebook te verlaten:

Door deze commando's te beheersen, veranderen je notebooks van eenvoudige "codebestanden" in uitgebreide, goed gedocumenteerde dataverhalen.