Combinazione di Linguaggi con i Comandi Magici

Una delle funzionalità più potenti del notebook Databricks è la sua natura poliglotta. Non è necessario scegliere tra essere una "persona Python" o una "persona SQL". Si utilizza invece lo strumento migliore per ogni fase specifica del progetto. Questo è reso possibile grazie ai Magic Commands.

Linguaggio predefinito vs. Magic Commands

Ogni notebook ha un "Linguaggio predefinito" scelto durante la creazione del file. Questo linguaggio (ad esempio, Python) è visibile accanto al nome del notebook nella parte superiore dello schermo. In un notebook Python, ogni cella presume di essere Python a meno che non venga specificato diversamente. Per modificare il linguaggio predefinito di una singola cella, si inizia la cella con un Magic Command.

Passaggio a SQL con %sql

Hai già visto %sql. Quando lavori in un notebook prevalentemente Python, spesso desideri controllare rapidamente il contenuto di una tabella utilizzando una query SQL standard.

%sql
SELECT count(*) 
FROM workspace.default.diamonds

Inserendo %sql all'inizio della cella, il cluster Databricks ignora l'interprete Python per quella cella e utilizza invece il motore SQL. Questo consente di esplorare i dati con la velocità di SQL e poi passare alla cella successiva per continuare la logica in Python.

Documentazione con %md (Markdown)

Il lavoro sui dati è collaborativo, il che significa che il tuo codice deve essere leggibile da altri. Il comando magico %md consente di scrivere in Markdown, un modo semplice per creare testo formattato, intestazioni ed elenchi puntati.

Quando esegui una cella che inizia con %md, non viene eseguito codice; il testo viene visualizzato come un documento dall'aspetto professionale.

%md
# Project: Diamonds
This notebook explores the **Diamonds Sales Data** from two years ago.
* Step 1: Data Cleaning
* Step 2: Aggregation

Esecuzione di Python in un notebook SQL con %python

Anche il contrario è vero. Se si lavora in un notebook con impostazione predefinita SQL, è possibile utilizzare %python per eseguire un'attività per cui SQL non è progettato, come un ciclo complesso o una previsione di machine learning.

Altri magic utili

Oltre al cambio di linguaggio, esistono magic per interagire con l'ambiente:

• %run: Utilizzato per eseguire un altro notebook all'interno del notebook corrente. Utile per importare funzioni di supporto o variabili condivise:

• %pip: Utilizzato per installare librerie Python specifiche direttamente nella sessione del cluster senza uscire dal notebook:

Padroneggiando questi comandi, i notebook si trasformano da semplici "file di codice" a storie di dati complete e ben documentate.