Misturando Linguagens com Comandos Mágicos

Uma das características mais poderosas do notebook Databricks é sua natureza poliglota. Não é necessário escolher entre ser uma "pessoa de Python" ou uma "pessoa de SQL". Em vez disso, utiliza-se a melhor ferramenta para cada etapa específica do projeto. Isso é possível graças aos comandos mágicos.

Idioma padrão vs. comandos mágicos

Todo notebook possui um "Idioma Padrão" escolhido na criação do arquivo. Esse idioma (por exemplo, Python) aparece ao lado do nome do notebook no topo da tela. Em um notebook Python, cada célula assume que está usando Python, a menos que seja indicado o contrário. Para substituir o padrão em uma célula específica, inicia-se a célula com um comando mágico.

Alternando para SQL com %sql

Você já viu o %sql. Em um notebook predominantemente em Python, muitas vezes é útil verificar rapidamente o conteúdo de uma tabela usando uma consulta SQL padrão.

%sql
SELECT count(*) 
FROM workspace.default.diamonds

Ao colocar %sql no início da célula, o cluster do Databricks ignora o interpretador Python para essa célula e utiliza o mecanismo SQL. Isso permite realizar exploração de dados com a velocidade do SQL e, em seguida, passar para a próxima célula para continuar a lógica em Python.

Documentação com %md (Markdown)

O trabalho com dados é colaborativo, o que significa que seu código precisa ser legível para outras pessoas. O comando mágico %md permite escrever em Markdown, uma maneira simples de criar textos formatados, títulos e listas com marcadores.

Quando você executa uma célula começando com %md, ela não executa código; ela renderiza o texto como um documento com aparência profissional.

%md
# Project: Diamonds
This notebook explores the **Diamonds Sales Data** from two years ago.
* Step 1: Data Cleaning
* Step 2: Aggregation

Executando Python em um Notebook SQL com %python

O inverso também é verdadeiro. Se você estiver trabalhando em um notebook com padrão SQL, pode usar %python para realizar uma tarefa para a qual o SQL não foi projetado, como um loop complexo ou uma previsão de machine learning.

Outros Magics Úteis

Além de alternar entre linguagens, existem magics para interagir com o ambiente:

• %run: Usado para executar outro notebook a partir do seu notebook atual. Isso é útil para importar funções auxiliares ou variáveis compartilhadas:

• %pip: Usado para instalar bibliotecas Python específicas diretamente na sessão do cluster sem sair do notebook:

Ao dominar esses comandos, seus notebooks deixam de ser apenas "arquivos de código" e passam a se tornar histórias de dados completas e bem documentadas.