Was Ist Eine ADF-Pipeline?

In Azure Data Factory sind Pipelines das Rückgrat der Datenintegrations-Workflows. Sie fungieren als Container für Aktivitäten, die die Abfolge der Aufgaben definieren, die erforderlich sind, um Daten zu verschieben, zu transformieren und zu verarbeiten. Pipelines vereinfachen den Prozess der Arbeit mit verschiedenen Datenquellen und ermöglichen eine nahtlose Integration und Automatisierung von Aufgaben. Stellen Sie es sich als ein Rezept für Datenbewegung und -transformation vor, bei dem jede Aktivität einen Schritt im Prozess darstellt.

In den nächsten Kapiteln werden wir die wichtigsten Pipeline-Aktivitäten betrachten und beginnen wir nun mit der am häufigsten verwendeten - Copy Activity.

Was ist Copy Activity?

Die Copy Activity ist wie ein Lieferwagen für Daten. Sie extrahiert Daten aus einer Quelle (z.B. Azure Blob Storage, Amazon S3 oder einer lokalen Datenbank) und lädt sie in ein Ziel (z.B. Azure SQL-Datenbank oder Data Lake). Sie übernimmt die schwere Arbeit des Datentransfers und sorgt dabei für Genauigkeit und Effizienz.

Wie erstellt man eine Kopieraktivität

1. Erstellen Sie eine neue Pipeline im Abschnitt Autor von Azure Data Factory Studio;
2. Ziehen Sie die Copy Data Activity aus dem Aktivitätenbereich auf die Pipeline-Leinwand;
3. Konfigurieren Sie die Quelle, indem Sie einen vorhandenen Linked Service und ein Dataset für die Daten auswählen, die Sie verschieben möchten. Optional können Sie Filter anwenden oder Abfragen angeben, um bestimmte Daten mit der Query-Option zu extrahieren;
4. Konfigurieren Sie das Ziel (Sink), indem Sie einen Linked Service und ein Dataset auswählen, in dem die Daten gespeichert werden sollen;
5. Richten Sie die Quell- und Zielfelder im Mapping-Tab aus, falls erforderlich;
6. Validieren Sie die Pipeline, indem Sie die Debug-Taste drücken.