Mélange de Langages avec des Commandes Magiques

L'une des fonctionnalités les plus puissantes du notebook Databricks est sa nature polyglotte. Il n'est pas nécessaire de choisir entre être un « utilisateur Python » ou un « utilisateur SQL ». Il s'agit d'utiliser l'outil le plus adapté à chaque étape de votre projet. Cela est rendu possible grâce aux commandes magiques.

Langage par défaut vs. commandes magiques

Chaque notebook possède un « langage par défaut » choisi lors de la création du fichier. Ce langage (par exemple, Python) apparaît à côté du nom du notebook en haut de l'écran. Dans un notebook Python, chaque cellule est considérée comme du Python sauf indication contraire. Pour remplacer le langage par défaut d'une cellule, commencez la cellule par une commande magique.

Passage à SQL avec %sql

Vous avez déjà vu %sql. Lorsque vous travaillez principalement en Python dans un notebook, il est souvent utile de vérifier rapidement le contenu d'une table à l'aide d'une requête SQL standard.

%sql
SELECT count(*) 
FROM workspace.default.diamonds

En plaçant %sql tout en haut, le cluster Databricks ignore l'interpréteur Python pour cette cellule et utilise à la place le moteur SQL. Cela permet d'explorer les données avec la rapidité de SQL, puis de passer à la cellule suivante pour poursuivre la logique en Python.

Documentation avec %md (Markdown)

Le travail sur les données est collaboratif, ce qui signifie que votre code doit être lisible par d'autres. La commande magique %md permet d'écrire en Markdown, un moyen simple de créer du texte formaté, des titres et des listes à puces.

Lorsque vous exécutez une cellule commençant par %md, elle n'exécute pas de code ; elle affiche le texte comme un document professionnel.

%md
# Project: Diamonds
This notebook explores the **Diamonds Sales Data** from two years ago.
* Step 1: Data Cleaning
* Step 2: Aggregation

Exécution de Python dans un notebook SQL avec %python

L'inverse est également vrai. Si vous travaillez dans un notebook par défaut SQL, vous pouvez utiliser %python pour effectuer une tâche pour laquelle SQL n'est pas conçu, comme une boucle complexe ou une prédiction de machine learning.

Autres magics utiles

Au-delà du changement de langage, il existe des magics pour interagir avec l'environnement :

• %run : Utilisé pour exécuter un autre notebook depuis votre notebook actuel. Utile pour importer des fonctions utilitaires ou des variables partagées :

• %pip : Utilisé pour installer des bibliothèques Python spécifiques directement dans la session de votre cluster sans quitter le notebook :

En maîtrisant ces commandes, vos notebooks passent du simple statut de « fichiers de code » à celui de véritables récits de données complets et bien documentés.