SQL-Code Schrijven en Uitvoeren

Hoewel Python krachtig is voor data-engineering, blijft SQL de populairste taal voor data-analyse. Databricks behandelt SQL als een volwaardige taal. Zelfs als de standaardtaal van je notebook is ingesteld op Python, kun je eenvoudig overschakelen naar SQL om snelle data-opvragingen of complexe joins uit te voeren.

SQL gebruiken in een SQL-notebook

Als je je notebook hebt aangemaakt met SQL als standaardtaal, zal elke cel die je maakt automatisch een SQL-cel zijn. Je typt gewoon je query - zoals SELECT * FROM table_name - en voert deze uit. De uitvoer wordt weergegeven in een overzichtelijke, interactieve tabel waarin je kolommen kunt sorteren of naar specifieke waarden kunt zoeken zonder extra code te schrijven.

De "Magic"-opdracht: %sql

Als je werkt in een Python-notebook, hoef je geen nieuw bestand aan te maken om een SQL-query uit te voeren. Databricks gebruikt "Magic Commands" om direct van programmeertaal te wisselen. Door %sql helemaal aan het begin van een cel te typen, geef je aan het cluster door om Python te negeren en die specifieke cel als SQL-code uit te voeren.

%sql
SELECT "Hello from the SQL engine" AS message

Query uitvoeren op de voorbeeldgegevens

In sectie 2 hebben we een bestand geüpload met de naam diamonds. Nu kunnen we het direct bevragen. Probeer in een SQL-cel de volgende code:

SELECT 
  carat, 
  cut, 
  price 
FROM 
  workspace.default.diamonds
LIMIT 10

Let op de naamgevingsconventie: catalog.schema.table. Deze naam met drie onderdelen zorgt ervoor dat je de juiste gegevens uit de Catalog haalt die we eerder hebben besproken.

Interactieve resultaten en visualisaties

Wanneer een SQL-cel klaar is met uitvoeren, biedt Databricks een interactieve resultatenreeks. Onder de resultaatentabel zie je een "+"-icoon gevolgd door "Visualisatie". Hiermee kun je je SQL-resultaten direct omzetten in staafdiagrammen, lijngrafieken of cirkeldiagrammen. In tegenstelling tot traditionele SQL-omgevingen, waar je mogelijk gegevens naar Excel moet exporteren om een grafiek te zien, kun je in Databricks de analyse en de visualisatie in dezelfde omgeving maken.

SQL opmaak voor leesbaarheid

SQL kan moeilijk leesbaar worden naarmate query's complexer worden. Databricks bevat een ingebouwde SQL Formatter. Deze is te vinden in de celwerkbalk (vaak weergegeven met een klein "toverstaf"-icoon of onder het menu "Bewerken"). Door hierop te klikken worden je sleutelwoorden automatisch ingesprongen en je kolommen uitgelijnd, waardoor je code eenvoudiger te beoordelen is voor je teamgenoten in de Workspace.