Erste Schritte

Willkommen zu der spannenden Reise der Datenverarbeitung mit Azure!

Bevor Sie mit diesem Kurs beginnen, empfehle ich Ihnen, die folgenden Kurse abzuschließen:

Später im Kurs werden wir Aussagen verwenden, die in diesen Kursen behandelt werden, und wenn Sie mit diesen Themen nicht vertraut sind, wird es schwierig für Sie sein, sich anzupassen und das Material vollständig zu verstehen.

In diesem Kapitel legen wir die Grundlagen, indem wir die Schlüsselkonzepte verstehen und einige grundlegende Fragen beantworten.

Versuchen wir nun, die Fragen aus dem Video anhand einiger realer Beispiele zu beantworten.

Was ist Datenengineering?

Stellen Sie sich vor, Sie besitzen eine Kette von Coffeeshops und möchten verstehen, wie Sie den Umsatz verbessern können. Jeden Tag generieren Ihre Geschäfte Daten: Kundenbestellungen, Verkaufstrends, Lagerbestände und sogar Wetterbedingungen, die den Kundenverkehr beeinflussen. Aber diese Daten sind verstreut — Quittungen in einem Geschäft, Tabellenkalkulationen aus Bestandsverwaltungssystemen und Temperaturprotokolle von Sensoren.

Datenengineering ist der Prozess des Sammelns, Organisierens und Vorbereitens dieser Rohdaten, damit Sie Fragen wie "Welche Kaffeegeschmacksrichtungen sind an verschiedenen Standorten am beliebtesten?" oder "Wie wirkt sich Regenwetter auf Kundenbesuche aus?" beantworten können.

Ein Dateningenieur entwirft Systeme, um all diese Informationen zusammenzuführen und sie für Entscheidungen wie diese nutzbar zu machen.

Was ist ETL/ELT?

Angenommen, Sie haben sich entschieden, die Kaffeedaten zu analysieren. Der Prozess von ETL (Extract, Transform, Load) ist wie das nächtliche Aufräumen und Vorbereiten Ihres Coffeeshops:

• Extract: Sie sammeln die Tagesquittungen, Bestandsprotokolle und Wetterberichte von mehreren Standorten;
• Transform: Sie bereinigen die Quittungen, indem Sie doppelte Einträge entfernen, organisieren Bestandsprotokolle in Kategorien und berechnen Durchschnittswerte für Wetterdaten. Dieser Schritt stellt sicher, dass die Daten genau und leicht zu analysieren sind;
• Load: Schließlich speichern Sie die bereinigten und organisierten Daten in einem zentralen System, wie einer Datenbank oder einem Berichtsdashboard, damit Sie sie für fundierte Entscheidungen nutzen können.

Bei ELT (Extract, Load, Transform) überspringen Sie den mittleren Schritt und laden die Rohdaten zuerst in ein System wie Azure, um sie dort zu transformieren. Dieser Ansatz ist besser für große Datensätze, da Cloud-Tools die schwere Verarbeitung bewältigen können.

Warum Azure verwenden?

Stellen Sie sich vor, Ihre Coffeeshop-Kette wächst auf 100 Standorte. Sie haben es jetzt täglich mit riesigen Datenmengen zu tun — Bestellungen, Zahlungen, Lagerbestände und Kundenbewertungen. Das Speichern und Verarbeiten dieser Daten auf lokalen Servern ist nicht nur teuer, sondern auch langsam.

Azure löst dieses Problem, indem es skalierbare, cloudbasierte Tools anbietet, die für Unternehmen wie Ihres entwickelt wurden.

Mit Azure müssen Sie sich keine Sorgen machen, dass Ihnen der Speicherplatz oder die Rechenleistung ausgeht, wenn Ihre Kette wächst. Außerdem ist es kosteneffektiv, da Sie nur für das bezahlen, was Sie nutzen.