Kursinhalt

Einführung in die Datenverarbeitung mit Azure

1. Erste Schritte mit Azure und Kernwerkzeugen

Erste Schritte Verstehen von Azure-Abonnements Organisieren von Ressourcen mit Ressourcengruppen Verwendung von Azure Blob Storage zur Datenspeicherung Einrichten der Azure SQL-Datenbank Verwalten von Anmeldeinformationen mit Azure Key Vault Einführung in Azure Data Factory

2. Grundlagen von Azure Data Factory

Verknüpfte Dienste Datensätze Was Ist Eine ADF-Pipeline?Skriptaktivität Nachschlageaktivität Datensatzparameter Foreach-Aktivität Pipeline-Aktivität Ausführen

3. Datenflüsse und Transformationen in ADF

Verstehen von Datenflüssen in Azure Data Factory Abgeleitete Spaltenumwandlung Kombinieren von Daten mit Joins Verwendung von Bedingter Aufteilung und Filterung in ADF Gruppierungs-, Auswahl- und Sortiertransformationen in ADF

4. Praktische Problemlösung mit ADF

Herausforderung: Laden von Daten in Mehrere Tabellen Lösungsansatz für die Herausforderung beim Laden von Daten Herausforderung: Durchführung der Transaktionsanalyse Lösung der Herausforderung zur Durchführung von Analysen

Gruppierungs-, Auswahl- und Sortiertransformationen in ADF

Jetzt werden wir drei wesentliche Transformationen in Azure Data Factory untersuchen: Gruppieren, Auswählen und Sortieren. Diese Transformationen sind entscheidend für die Organisation und Strukturierung Ihrer Daten im Datenfluss. Wir werden besprechen, wie jede Transformation verwendet wird, um Daten effektiv zu manipulieren.

Zum Beispiel können Sie Verkaufsdaten nach der "Region"-Spalte gruppieren und die Summe von "SalesAmount" berechnen, um die Gesamtverkäufe für jede Region zu ermitteln. Ebenso kann das Gruppieren nach "ProductCategory" und das Anwenden einer Zählfunktion die Anzahl der in jeder Kategorie verkauften Produkte liefern.

Zum Beispiel können Sie die Select-Transformation verwenden, um die Spalte "Cust_ID" in "CustomerID" umzubenennen, um mehr Klarheit zu schaffen. Zusätzlich können Sie unnötige Spalten wie "TempData," entfernen, um den Datensatz für weitere Analysen zu optimieren.

Zum Beispiel kann die Sortiertransformation verwendet werden, um Verkaufsdaten in absteigender Reihenfolge basierend auf der "TotalSales"-Spalte anzuordnen, sodass die höchsten Verkäufe zuerst erscheinen. Alternativ könnten Sie Mitarbeiterdatensätze nach "HireDate" in aufsteigender Reihenfolge sortieren, um die zuletzt eingestellten Mitarbeiter anzuzeigen.

Wie man Gruppierungs-, Auswahl- und Sortiertransformationen in ADF verwendet

Erstellen Sie einen neuen Datenfluss oder verwenden Sie einen bestehenden;
Ziehen Sie eine Gruppierungstransformation auf die Datenfluss-Leinwand;
Wählen Sie in den Gruppierungseinstellungen die Spalte(n) aus, nach denen gruppiert werden soll (z.B. Region);
Definieren Sie die Aggregationslogik für andere Spalten (z.B. Summe, Durchschnitt, Maximum);
Ziehen Sie eine Auswahltransformation auf die Leinwand;
Wählen Sie in den Auswahleinstellungen die Spalten aus, die beibehalten, umbenannt oder neu geordnet werden sollen;
Ziehen Sie eine Sortiertransformation auf die Leinwand;
Definieren Sie in den Sortiereinstellungen die Spalte(n), nach denen sortiert werden soll, und wählen Sie die Sortierreihenfolge (aufsteigend oder absteigend);
Fügen Sie eine Zieltransformation hinzu, um die Ausgabe in einem Ziel wie SQL oder Blob Storage zu speichern;
Validieren Sie die Datenflusskonfiguration, um sicherzustellen, dass alles korrekt ist.

1. Welche der folgenden ist KEINE gültige Operation, die in der Auswahltransformation durchgeführt werden kann?

2. Was ist ein Beispiel für eine Aggregation, die mit der Gruppierungstransformation verwendet werden kann?

War alles klar?

Danke für Ihr Feedback!

Abschnitt 3. Kapitel 5