Mezcla de Lenguajes con Comandos Mágicos

Una de las características más potentes del notebook de Databricks es su naturaleza políglota. No es necesario elegir entre ser una "persona de Python" o una "persona de SQL". En su lugar, se utiliza la mejor herramienta para cada paso específico del proyecto. Esto es posible gracias a los comandos mágicos.

El lenguaje predeterminado vs. los comandos mágicos

Cada notebook tiene un "lenguaje predeterminado" que se selecciona al crear el archivo. Este lenguaje (por ejemplo, Python) se muestra junto al nombre del notebook en la parte superior de la pantalla. En un notebook de Python, cada celda asume que es Python a menos que se indique lo contrario. Para anular el valor predeterminado en una sola celda, se inicia la celda con un comando mágico.

Cambio a SQL con %sql

Ya has visto %sql. Cuando trabajas en un notebook principalmente en Python, a menudo quieres comprobar rápidamente el contenido de una tabla utilizando una consulta SQL estándar.

%sql
SELECT count(*) 
FROM workspace.default.diamonds

Al colocar %sql en la parte superior, el clúster de Databricks ignora el intérprete de Python para esa celda y utiliza el motor de SQL en su lugar. Esto permite realizar exploración de datos con la velocidad de SQL y luego pasar a la siguiente celda para continuar con la lógica en Python.

Documentación con %md (Markdown)

El trabajo con datos es colaborativo, lo que significa que tu código debe ser legible para otros. El comando mágico %md te permite escribir Markdown, que es una forma sencilla de crear texto con formato, encabezados y listas con viñetas.

Cuando ejecutas una celda que comienza con %md, no ejecuta código; muestra el texto como un documento de aspecto profesional.

%md
# Project: Diamonds
This notebook explores the **Diamonds Sales Data** from two years ago.
* Step 1: Data Cleaning
* Step 2: Aggregation

Ejecución de Python en un notebook SQL con %python

La inversa también es cierta. Si trabajas en un notebook con SQL por defecto, puedes usar %python para realizar tareas para las que SQL no está diseñado, como un bucle complejo o una predicción de aprendizaje automático.

Otros comandos mágicos útiles

Además de cambiar de lenguaje, existen comandos mágicos para interactuar con el entorno:

• %run: Utilizado para ejecutar otro notebook desde el notebook actual. Esto es útil para importar funciones auxiliares o variables compartidas:

• %pip: Utilizado para instalar bibliotecas específicas de Python directamente en la sesión del clúster sin salir del notebook:

Al dominar estos comandos, los notebooks pasan de ser simples "archivos de código" a convertirse en historias de datos completas y bien documentadas.