Summary  
This chapter explains how to use group-by operations with the `.agg()` method to apply multiple aggregation functions to one or more DataFrame columns at once, producing hierarchical summary tables.  

General domain of usage  
Data analysis

Watch this video for a clear, step-by-step walkthrough of advanced grouping and aggregation in pandas. You'll see how to use the .groupby() and .agg() methods to perform multiple, customized summary calculations at the same time. The video demonstrates grouping by one or more columns, applying several aggregation functions to different columns, and interpreting the resulting MultiIndex DataFrame. By the end, you'll understand how to efficiently generate detailed summary tables for real-world data analysis tasks using pandas.

Approfondimento sul metodo `.groupby()`. Come ricorderai, possiamo utilizzare il metodo `.agg()`. Il principale vantaggio di questa funzione è la sua flessibilità: permette di applicare **più aggregazioni diverse** a **più colonne** contemporaneamente, restituendo una tabella riepilogativa ordinata.

Osserva l'esempio qui sotto. Abbiamo raggruppato i voli per `'Airline'`. Poi, usando `.agg()`, abbiamo contato il numero totale di voli (utilizzando la colonna `'Delay'`) e contemporaneamente trovato la durata minima e massima dei voli (utilizzando la colonna `'Length'`). Molto pratico, vero?

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane', index_col = 0)
data_flights = data.groupby('Airline').agg({'Delay': 'count', 'Length': ['min', 'max']})
print(data_flights.head(10))

**Spiegazione:**

```python
.agg({'Delay': 'count', 'Length': ['min', 'max']})
```
* `.agg()`: Abbreviazione di "aggregate". Questo metodo prende i dati raggruppati e li condensa in statistiche di riepilogo in base alle regole fornite.
* `{}`: Si utilizza un dizionario Python per associare colonne specifiche a operazioni specifiche. Le chiavi sono i nomi delle colonne da selezionare, i valori sono le funzioni da applicare.
* `'Delay': 'count'`: Indica a pandas di applicare la funzione count alla colonna `'Delay'` per ogni gruppo. Nota che si passa l'alias stringa `'count'` invece di scrivere `count()`. Pandas riconosce questi nomi standard per le statistiche comuni.
* `'Length': ['min', 'max']`: Se si desidera applicare **più di una** funzione a una singola colonna, è necessario inserire i nomi delle funzioni all'interno di una lista `[]`. Qui calcoliamo sia il valore minimo che quello massimo per la colonna `'Length'`.

Poiché sono state applicate più funzioni, il DataFrame risultante creerà automaticamente colonne gerarchiche (MultiIndex). Vedrai `Length` al livello superiore, con `min` e `max` ordinatamente categorizzati sotto di esso.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ DataFrame Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ Ð½Ð°Ð·Ð² ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº Ñ MultiIndex."""
    try:
        df1_sorted = df1.sort_index()
        df2_sorted = df2.sort_index()
        return df1_sorted.equals(df2_sorted)
    except Exception:
        return False


class TestFlightAggregations(unittest.TestCase):
    def test_group_and_aggregate(self):
        """
        Check if the grouped DataFrame correctly aggregates:
        - mean and max of 'Time';
        - median of 'Length';
        grouped by ['AirportFrom', 'AirportTo'] (in that order).
        """
        import user_code

        # Reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane"
        df = pd.read_csv(url, index_col=0)

        # Expected result
        ref = df.groupby(['AirportFrom', 'AirportTo']).agg({'Time': ['mean', 'max'], 'Length': 'median'})

        # User result
        assert hasattr(user_code, "data_flights"), "Variable 'data_flights' is missing."
        user_result = user_code.data_flights

        # Compare
        condition = isinstance(user_result, pd.DataFrame) and frames_equal(user_result, ref)
        _dynamic_test(
            self,
            condition,
            "The grouped DataFrame 'data_flights' correctly calculates mean, max (Time) and median (Length).",
            "The aggregation result is incorrect. Ensure you group by ['AirportFrom', 'AirportTo'] and calculate the correct aggregations."
        )


class TestOutput(unittest.TestCase):
    def test_output_head_10(self):
        """
        Check that the output of print(data_flights.head(10)) is not empty.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_flights.head(10))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The first 10 rows of 'data_flights' are printed correctly using .head(10).",
            "The output is missing or incorrect. Use print(data_flights.head(10))."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Questo corso contiene molte funzioni utili per un futuro data analyst. Imparerai diversi modi per estrarre dati e persino impostare condizioni su di essi. Successivamente, conoscerai i metodi di raggruppamento dei dati. Inoltre, apprenderai come preprocessare i dati. Ogni sezione ha il proprio set di dati, rendendo il corso coinvolgente.

Questa sezione ti insegnerà come visualizzare colonne specifiche in base ai loro titoli o indici. Inoltre, verranno illustrate le modalità per selezionare le righe tramite gli indici.

Qui imparerai come estrarre dati che soddisfano condizioni specifiche. Inoltre, imparerai come combinarle e persino crearne di proprie.

In questa sezione, amplierai le tue conoscenze sull'impostazione di diverse condizioni sui dati. Imparerai a verificare se i tuoi dati sono presenti in un elenco definito di valori o compresi tra due valori. Imparerai anche come trovare i valori più grandi e più piccoli.

Questa sezione è una delle più affascinanti del corso. Qui imparerai come raggruppare i dati in diversi modi. Ti aiuterà a lavorare come data analyst per individuare informazioni su specifici gruppi di dati.

Questa sezione è una delle più significative per un data analyst perché, se i dati contengono valori mancanti o in un formato errato, sarà impossibile lavorarci. Pertanto, qui imparerai come gestire tali valori inappropriati.

Raggruppamento Avanzato

Soluzione