Hvis du nogensinde har arbejdet i en virksomhed, der håndterer store mængder information, har du sikkert oplevet, hvor "rodet" data kan blive. Traditionelt har håndtering af denne information betydet alt fra at jonglere med simple Excel-ark til at forespørge på et utal af forskellige databaser på tværs af afdelinger. Det meste af dette arbejde er baseret på SQL, som er det fælles sprog for data, eller nogle gange Python til mere avancerede analyser.

I dag har de fleste virksomheder delt deres data op i to helt forskellige verdener:

• Data Warehouses: disse indeholder organiserede, strukturerede data (tænk på store samlinger af tabeller, ligesom en kæmpe Excel-projektmappe), som primært bruges til forretningsrapporter;
• Data Lakes: disse lagrer rå, uorganiserede data, såsom billeder, video eller store logfiler, der bruges i Machine Learning.

Selvom begge systemer er gode til deres formål, kommunikerer de ikke særlig godt med hinanden. Dette skaber "Data Silos", hvor information er fanget forskellige steder. Det fører til inkonsistente resultater, høje omkostninger og meget manuelt arbejde blot for at flytte data rundt. Databricks blev skabt af de oprindelige udviklere af Apache Spark for at løse netop dette problem ved at introducere en ny, samlet arkitektur: Lakehouse.

De centrale problemer, Databricks løser

For at forstå, hvorfor Databricks er så populær, skal man se på de tre vigtigste "hovedpiner", den fjerner for datateams:

• Kompleksitet og vedligeholdelse: tidligere krævede opsætning af et "big data"-miljø manuel installation af servere og kompleks software. Databricks er fuldt administreret i skyen (AWS, Azure eller GCP). Du kan starte et kraftfuldt cluster af computere med blot få klik;
• Mangel på samarbejde: dataingeniører skriver kode, mens forretningsanalytikere bruger SQL (og Python i mere avancerede tilfælde). Normalt arbejder de med forskellige værktøjer. Databricks tilbyder Notebooks samt en SQL Editor, hvor alle kan arbejde i det samme miljø og dele kode og kommentarer i realtid;
• Datapålidelighed: rå data er ofte "beskidte" eller ufuldstændige. Databricks bruger Delta Lake-teknologi for at sikre, at de data, du læser, altid er af høj kvalitet, pålidelige og "produktionsklare".

Effektivitet og Enkelhed

Databricks' mantra er "Enkelhed." I stedet for at administrere hardware, fokuseres der på data.

Forestil dig en detailvirksomhed, der forsøger at forudsige salg. Uden Databricks kan de bruge uger på at flytte data fra deres websitets logfiler til en database blot for at analysere dem. Med Databricks kan de indlæse disse data øjeblikkeligt, rense dem ved hjælp af Python eller SQL i en delt notesbog og opbygge en forudsigelsesmodel – alt sammen i det samme miljø. Det forvandler en fragmenteret, langsom proces til en strømlinet, højhastigheds "datafabrik".

Hvorfor det er vigtigt for din karriere

Efterhånden som virksomheder bevæger sig væk fra "gamle rodede systemer", søger de professionelle, der forstår, hvordan man arbejder i et Lakehouse-miljø. Uanset om du er kommende Data Engineer, Data Scientist eller Data Analyst, bliver det en grundlæggende kompetence i det moderne datalandskab at kunne navigere i Databricks-arbejdsområdet.