In diesem Kapitel werden wir in **Azure Blob Storage** eintauchen, einen der leistungsstärksten und am häufigsten verwendeten Dienste zur Speicherung von Daten in der Cloud.

**Azure Blob Storage** ist ein von Microsoft Azure bereitgestellter Dienst zur Speicherung großer Mengen unstrukturierter Daten. Der Begriff "Blob" steht für **Binary Large Object** und bezieht sich auf die Art der in Azure gespeicherten Daten. Blob Storage ist ideal für die Speicherung von Daten, die kein vordefiniertes Modell oder Struktur haben, wie z.B.: Textdateien, Audio- oder Videodateien, Bilder usw.

**Azure Data Lake Storage Gen2** ist eine erweiterte Version von Azure Blob Storage, die **hierarchische Namensraumunterstützung** bietet, was es ermöglicht, Daten effektiver zu organisieren und die Verwaltung großer Datensätze zu erleichtern.

## Hauptmerkmale von Azure Data Lake Storage Gen 2 (ADLS Gen2)
- **Skalierbarkeit**: ADLS Gen2 ist darauf ausgelegt, enorme Datenmengen zu verarbeiten. Egal, ob Sie mit Gigabytes oder Petabytes arbeiten, Sie können alles innerhalb desselben Kontos speichern und verwalten;
- **Hierarchischer Namensraum**: ADLS Gen2 unterstützt einen hierarchischen Namensraum, der es Ihnen ermöglicht, Daten in einer Verzeichnisstruktur ähnlich einem Dateisystem zu organisieren. Dies erleichtert die Verwaltung großer Dateisätze, die Anwendung von Zugriffskontrollrichtlinien und die Optimierung der Leistung von Datenoperationen;
- **Kosteneffizienz**: Azure bietet verschiedene Ebenen (Hot, Cool und Archive), die es Ihnen ermöglichen, Ihre Daten je nach Zugriffshäufigkeit auf die kostengünstigste Weise zu speichern.

Für welche Art von Daten ist Azure Blob Storage am besten geeignet?


Beherrschen Sie die Grundlagen der Datenverarbeitung mit Microsoft Azure in diesem umfassenden Kurs. Beginnend mit grundlegenden Konzepten wie Cloud-Computing, Ressourcenmanagement und Speicherlösungen, schreiten Sie zu praktischen Schulungen in Azure Data Factory (ADF) fort, meistern ETL/ELT-Workflows und fortgeschrittene Datentransformationen. Durch praktische Beispiele und die Lösung realer Probleme erwerben Sie die Fähigkeiten, skalierbare Datenlösungen mit Azure zu entwerfen, zu implementieren und zu optimieren.

Tauchen Sie tief in die grundlegenden Konzepte und Werkzeuge ein, die erforderlich sind, um Ihre Reise mit Microsoft Azure zu beginnen. Sie werden die Grundlagen des Cloud-Computing erkunden, lernen, wie Sie Ressourcen effizient mit Azure Resource Groups organisieren und verwalten, und grundlegende Dienste wie Blob Storage und Azure SQL Database einrichten. Zusätzlich sichern Sie sensible Daten mit Azure Key Vault und erhalten einen Überblick über Azure Data Factory (ADF), um seine Rolle in modernen Datenengineering-Workflows zu verstehen.

Erkunden Sie die Kernfunktionen von Azure Data Factory (ADF), ein leistungsstarkes Tool zur Erstellung und Automatisierung von ETL/ELT-Workflows. In diesem Abschnitt lernen Sie, wie Sie Dienste, Datensätze und Pipelines konfigurieren, während Sie wichtige Aktivitäten wie Copy, Lookup und Script erkunden. Sie arbeiten auch mit erweiterten Funktionen wie der ForEach-Aktivität zur Iteration und Pipeline-Parametern für Flexibilität.

Dieser Abschnitt konzentriert sich auf die Nutzung der Datenflussfähigkeiten von Azure Data Factory, um Ihre Daten zu transformieren und anzureichern. Sie lernen, verschiedene Datenquellen zu verbinden, abgeleitete Spalten zu erstellen und Datensätze mithilfe von Joins zu kombinieren. Praktische Beispiele führen Sie durch das Filtern, Sortieren, bedingte Aufteilungen und Aggregieren von Daten, um aussagekräftige Einblicke zu gewinnen. Durch das Beherrschen dieser Transformationen sind Sie in der Lage, robuste und effiziente ETL-Workflows zu erstellen, die auf reale Herausforderungen der Datenverarbeitung zugeschnitten sind.

Wenden Sie Ihr Wissen auf reale Dateningenieurszenarien in diesem praxisnahen Abschnitt an. Sie werden praktische Herausforderungen wie das Laden und Analysieren von Daten für verschiedene Kategorien, das Erkennen von Mustern und die Bewertung der finanziellen Gesundheit mithilfe fortschrittlicher ADF-Workflows bewältigen. Durch das Lösen dieser Probleme sammeln Sie Erfahrungen im Entwerfen von End-to-End-Datenlösungen, im Umgang mit vielfältigen Datensätzen und im Generieren umsetzbarer Erkenntnisse.

Einführung in die Datenverarbeitung mit Azure

Verwendung von Azure Blob Storage zur Datenspeicherung

Hauptmerkmale von Azure Data Lake Storage Gen 2 (ADLS Gen2)