Contenu du cours

Introduction à l'Ingénierie des Données avec Azure

1. Commencer avec Azure et les Outils de Base

Commencer Comprendre les Abonnements Azure Organisation des Ressources Avec des Groupes de Ressources Utilisation du Stockage Blob Azure pour le Stockage de Données Configuration de la Base de Données SQL Azure Gestion des Identifiants avec Azure Key Vault Introduction à Azure Data Factory

2. Fondations de l'Azure Data Factory

Services Liés Jeux de Données Qu'est-ce Qu'un Pipeline ADF ?Activité de Script Activité de Recherche Paramètres du Jeu de Données Activité Foreach Exécuter l'Activité de Pipeline

3. Flux de Données et Transformations dans ADF

Comprendre les Flux de Données dans Azure Data Factory Transformation de Colonne Dérivée Combiner des Données avec des Jointures Utilisation de la Division Conditionnelle et du Filtrage dans ADF Regroupement, Sélection et Tri des Transformations dans ADF

4. Résolution de Problèmes Pratiques avec ADF

Défi : Chargement des Données dans Plusieurs Tables Résoudre le Défi de Chargement des Données Défi : Réaliser une Analyse des Transactions Résolution du Défi d'Analyse de Conduite

Regroupement, Sélection et Tri des Transformations dans ADF

Nous allons maintenant explorer trois transformations essentielles dans Azure Data Factory : Grouping, Select, et Sort. Ces transformations sont cruciales pour organiser et structurer vos données dans le flux de données. Nous discuterons de la manière d'utiliser chaque transformation pour manipuler les données efficacement.

Par exemple, vous pouvez regrouper les données de ventes par la colonne "Region" et calculer la somme de "SalesAmount" pour déterminer le total des ventes pour chaque région. De même, regrouper par "ProductCategory" et appliquer une fonction de comptage peut fournir le nombre de produits vendus dans chaque catégorie.

Par exemple, vous pouvez utiliser la transformation Select pour renommer la colonne "Cust_ID" en "CustomerID" pour plus de clarté. De plus, vous pouvez supprimer les colonnes inutiles, telles que "TempData," pour simplifier l'ensemble de données pour une analyse plus approfondie.

Par exemple, la transformation de tri peut être utilisée pour organiser les données de ventes par ordre décroissant en fonction de la colonne "TotalSales", garantissant que les ventes les plus élevées apparaissent en premier. Alternativement, vous pouvez trier les dossiers des employés par "HireDate" par ordre croissant pour voir les employés les plus récemment embauchés.

Comment utiliser les transformations de Groupement, Sélection et Tri dans ADF

Créez un nouveau flux de données ou utilisez un existant ;
Faites glisser une transformation de groupement sur le canevas du flux de données ;
Dans les paramètres de groupement, choisissez la ou les colonnes à regrouper (par exemple, Region) ;
Définissez la logique d'agrégation pour les autres colonnes (par exemple, somme, moyenne, max) ;
Faites glisser une transformation de sélection sur le canevas ;
Dans les paramètres de sélection, choisissez les colonnes à conserver, renommez-les ou réorganisez-les selon les besoins ;
Faites glisser une transformation de tri sur le canevas ;
Dans les paramètres de tri, définissez la ou les colonnes à trier et choisissez l'ordre de tri (croissant ou décroissant) ;
Ajoutez une transformation de destination pour stocker la sortie dans une destination comme SQL ou Blob Storage ;
Validez la configuration du flux de données pour vous assurer que tout est correct.

1. Laquelle des opérations suivantes n'est PAS une opération valide pouvant être effectuée dans la transformation de sélection ?

2. Quel est un exemple d'agrégation qui peut être utilisée avec la transformation de Groupement ?

Tout était clair ?

Merci pour vos commentaires !

Section 3. Chapitre 5