Summary  
This chapter explains how to use group-by operations with the `.agg()` method to apply multiple aggregation functions to one or more DataFrame columns at once, producing hierarchical summary tables.  

General domain of usage  
Data analysis

Watch this video for a clear, step-by-step walkthrough of advanced grouping and aggregation in pandas. You'll see how to use the .groupby() and .agg() methods to perform multiple, customized summary calculations at the same time. The video demonstrates grouping by one or more columns, applying several aggregation functions to different columns, and interpreting the resulting MultiIndex DataFrame. By the end, you'll understand how to efficiently generate detailed summary tables for real-world data analysis tasks using pandas.

Approfondissement de la méthode `.groupby()`. Comme vous vous en souvenez, il est possible d'utiliser la méthode `.agg()`. L'avantage principal de cette fonction réside dans sa flexibilité : elle permet d'appliquer **plusieurs agrégations différentes** à **plusieurs** colonnes simultanément, en renvoyant un tableau récapitulatif clair.

Consultez l'exemple ci-dessous. Les vols ont été groupés par `'Airline'`. Ensuite, grâce à `.agg()`, le nombre total de vols a été compté (en utilisant la colonne `'Delay'`) et la durée la plus courte ainsi que la plus longue des vols ont été déterminées (en utilisant la colonne `'Length'`). Pratique, n'est-ce pas ?

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane', index_col = 0)
data_flights = data.groupby('Airline').agg({'Delay': 'count', 'Length': ['min', 'max']})
print(data_flights.head(10))

**Explication :**

```python
.agg({'Delay': 'count', 'Length': ['min', 'max']})
```
* `.agg()` : Abréviation de « aggregate ». Cette méthode prend les données groupées et les résume en statistiques selon les règles fournies.
* `{}` : Un dictionnaire Python est utilisé pour associer des colonnes spécifiques à des opérations spécifiques. Les clés correspondent aux noms des colonnes ciblées, et les valeurs aux fonctions à appliquer.
* `'Delay': 'count'` : Indique à pandas d'appliquer la fonction de comptage à la colonne `'Delay'` pour chaque groupe. Remarquez que l'on passe l'alias sous forme de chaîne de caractères `'count'` au lieu d'écrire `count()`. Pandas reconnaît ces noms standards pour les statistiques courantes.
* `'Length': ['min', 'max']` : Pour appliquer **plus d'une** fonction à une même colonne, il faut placer les noms des fonctions dans une liste `[]`. Ici, la valeur minimale et la valeur maximale de la colonne `'Length'` sont calculées.

Comme plusieurs fonctions ont été appliquées, le DataFrame résultant crée automatiquement des colonnes hiérarchiques (MultiIndex). Vous verrez `Length` au niveau supérieur, avec `min` et `max` classés en dessous.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ DataFrame Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ Ð½Ð°Ð·Ð² ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº Ñ MultiIndex."""
    try:
        df1_sorted = df1.sort_index()
        df2_sorted = df2.sort_index()
        return df1_sorted.equals(df2_sorted)
    except Exception:
        return False


class TestFlightAggregations(unittest.TestCase):
    def test_group_and_aggregate(self):
        """
        Check if the grouped DataFrame correctly aggregates:
        - mean and max of 'Time';
        - median of 'Length';
        grouped by ['AirportFrom', 'AirportTo'] (in that order).
        """
        import user_code

        # Reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane"
        df = pd.read_csv(url, index_col=0)

        # Expected result
        ref = df.groupby(['AirportFrom', 'AirportTo']).agg({'Time': ['mean', 'max'], 'Length': 'median'})

        # User result
        assert hasattr(user_code, "data_flights"), "Variable 'data_flights' is missing."
        user_result = user_code.data_flights

        # Compare
        condition = isinstance(user_result, pd.DataFrame) and frames_equal(user_result, ref)
        _dynamic_test(
            self,
            condition,
            "The grouped DataFrame 'data_flights' correctly calculates mean, max (Time) and median (Length).",
            "The aggregation result is incorrect. Ensure you group by ['AirportFrom', 'AirportTo'] and calculate the correct aggregations."
        )


class TestOutput(unittest.TestCase):
    def test_output_head_10(self):
        """
        Check that the output of print(data_flights.head(10)) is not empty.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_flights.head(10))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The first 10 rows of 'data_flights' are printed correctly using .head(10).",
            "The output is missing or incorrect. Use print(data_flights.head(10))."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Ce cours contient de nombreuses fonctions utiles pour un futur analyste de données. Vous apprendrez différentes méthodes d'extraction de données et pourrez même y appliquer des conditions. Ensuite, vous vous familiariserez avec les méthodes de regroupement des données. De plus, vous découvrirez comment prétraiter les données. Chaque section dispose de son propre ensemble de données, rendant le cours captivant.

Cette section vous apprendra comment afficher des colonnes spécifiques par leurs titres ou indices. Vous vous familiariserez également avec les différentes méthodes de sélection des lignes par indices.

Ici, vous apprendrez à extraire des données répondant à des conditions spécifiques. Vous apprendrez également à les combiner et même à créer vos propres conditions.

Dans cette section, vous approfondirez vos connaissances sur la définition de différentes conditions de données. Vous apprendrez à vérifier si vos données figurent dans une liste de valeurs définie ou se situent entre deux valeurs. Vous apprendrez également à identifier les valeurs les plus grandes et les plus petites.

Cette section est l'une des plus fascinantes du cours. Ici, vous apprendrez à regrouper des données de différentes manières. Cela vous aidera à travailler en tant qu'analyste de données pour obtenir des informations sur des groupes de données spécifiques.

Cette section est l'une des plus importantes pour un analyste de données, car si les données contiennent des valeurs manquantes ou sont dans un format incorrect, il sera impossible de les exploiter. Ainsi, vous apprendrez ici comment traiter de telles valeurs inappropriées.

Regroupement Avancé

Solution