Défi : Chargement des Données dans Plusieurs Tables

Dans cette tâche, nous travaillerons avec des données de cartes de crédit, avec pour objectif principal de charger ces données dans Azure tout en respectant toutes les exigences nécessaires.

Imaginez que vous travaillez pour une banque qui gère un volume important de données de cartes de crédit. Votre équipe a pour mission d'organiser ces données dans un format qui peut être facilement analysé en fonction des types de cartes. On vous a fourni un ensemble de données contenant des informations sur diverses cartes, y compris des cartes de débit et de crédit. Votre travail consiste à charger cet ensemble de données dans une base de données Azure SQL et à vous assurer que les informations sur les cartes sont stockées dans des tables distinctes pour chaque type de carte : une table pour les cartes de crédit, une autre pour les cartes de débit, et ainsi de suite.

L'ensemble de données principal se présente comme suit :

Cette tâche implique :

• Chargement des données à partir de fichiers CSV vers le cloud ;
• Séparation des données de carte en tables distinctes en fonction du type de carte ;
• S'assurer que les données sont correctement formatées pour une analyse future.

Les tables résultantes ressembleront à ceci.

Tableau des Cartes de Crédit

Tableau des Cartes de Débit

Tableau des Cartes de Débit (Prépayées)

Veuillez noter que le jeu de données peut contenir plus de trois types de cartes, vous devez donc créer des tables séparées pour chacun d'eux !

Indice

Pour résoudre cette tâche, vous pouvez utiliser les matériaux de la deuxième section. Voici une approche étape par étape pour aborder cela :

1. Tout d'abord, vous devez charger les données brutes dans la base de données. Cela implique de lire le fichier CSV et de remplir la table cible avec toutes les données de carte ;
2. Une fois les données dans la base de données, assurez-vous que les types de données corrects sont appliqués à chaque colonne (par exemple, s'assurer que les champs numériques comme credit_limit sont reconnus comme numériques, que les champs de date comme acct_open_date sont correctement formatés, etc.) ;
3. Après que les données soient chargées et formatées, vous pouvez effectuer une activité de Lookup dans Azure Data Factory (ADF) pour identifier tous les types de cartes distincts. Cela vous donnera une liste de types de cartes uniques présents dans le jeu de données ;
4. Utilisez une activité ForEach pour traiter chaque type de carte unique séparément. À l'intérieur de la boucle, vous pouvez filtrer les données par type de carte, en vous assurant que chaque type de carte a sa propre table ;
5. Pour chaque type de carte, créez une table séparée dans votre base de données et insérez les enregistrements pertinents du jeu de données.

En suivant ces étapes, vous serez en mesure de séparer et de charger correctement les données dans différentes tables en fonction du type de carte.