Summary  
This chapter covers how to group tabular data by multiple columns using pandas’ groupby method with a list of keys, showing that the order of columns defines a hierarchical (multi-level) index and that you can apply aggregations (sum, mean, count, etc.) on those groups.

General domain of usage  
Flight delay analysis

Watch this video for a hands-on demonstration of grouping by several columns in pandas. You'll see how to group by both 'Flight' and 'Airline' to count delays, as well as how to group by 'AirportFrom' and 'DayOfWeek' to calculate the average flight time. Visual walkthroughs will help you understand the importance of column order and how aggregation works in multi-column groupings.

Aggiunta di informazioni sul metodo `.groupby()`. Possibilità di raggruppare per più colonne, con importanza dell'ordine. Nel capitolo precedente, raggruppamento dei dati per numero di volo e conteggio dei ritardi. Complicazione del compito raggruppando non solo per la colonna `'Flight'`, ma anche per la colonna `'Airline'`. Revisione delle informazioni sul dataset e osservazione di questo semplice esempio (l'output mostra solo le prime 10 righe):

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane', index_col = 0)
data_flights = data[['Flight', 'Delay', 'Airline']].groupby(['Flight', 'Airline']).count()
print(data_flights.head(10))

**Spiegazione:**

```python
data[['Flight', 'Delay', 'Airline']].groupby(['Flight', 'Airline']).count()
```
- `data[['Flight', 'Delay', 'Airline']]` - colonne utilizzate, incluse quelle per il raggruppamento;
- `.groupby(['Flight', 'Airline'])` -  `'Flight'` e `'Airline'` sono argomenti della funzione `.groupby()`.  

Attenzione: per raggruppare per più colonne, inserirle in una lista; l'ordine è fondamentale. In questo caso, se le righe del dataset hanno lo stesso valore nella colonna `'Flight'`, saranno assegnate allo stesso gruppo. All'interno di questi gruppi, la funzione individua altri gruppi per le righe con lo stesso valore nella colonna `'Airline'`. Grazie al metodo `.count()`, che conta le righe, la funzione calcola il numero di righe nella colonna `'Delay'` che hanno lo stesso valore nella colonna `'Airline'` per ciascun gruppo `'Flight'`.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal_strict(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ DataFrame Ð· ÑÑÐ°ÑÑÐ²Ð°Ð½Ð½ÑÐ¼ Ð¿Ð¾ÑÑÐ´ÐºÑ ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº ÑÐ° ÑÐ½Ð´ÐµÐºÑÑ."""
    try:
        return df1.equals(df2)
    except Exception:
        return False


class TestGroupData(unittest.TestCase):
    def test_grouping_average(self):
        """
        1. Group data by 'AirportFrom' and 'DayOfWeek', calculate mean of 'Time'.
        """
        import user_code

        # ÐÑÐ¸Ð³ÑÐ½Ð°Ð»ÑÐ½Ð¸Ð¹ DataFrame
        df = pd.read_csv(
            "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane",
            index_col=0,
        )

        # ÐÑÐ°Ð»Ð¾Ð½Ð½Ðµ ÑÑÑÐµÐ½Ð½Ñ
        ref = df[["AirportFrom", "DayOfWeek", "Time"]].groupby(["AirportFrom", "DayOfWeek"]).mean()

        condition = (
            hasattr(user_code, "data_flights")
            and isinstance(user_code.data_flights, pd.DataFrame)
            and frames_equal_strict(user_code.data_flights, ref)
        )

        _dynamic_test(
            self,
            condition,
            "The data is correctly grouped by 'AirportFrom' and 'DayOfWeek' with mean 'Time' calculated.",
            "The grouping or averaging is incorrect. Check the columns order and groupby parameters."
        )


class TestOutput(unittest.TestCase):
    def test_output_head_10(self):
        """
        2. Output the first 10 rows of the grouped DataFrame using .head(10).
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_flights.head(10))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The first 10 rows of 'data_flights' are printed correctly using .head(10).",
            "The output is missing or incorrect. Use print(data_flights.head(10))."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Questo corso contiene molte funzioni utili per un futuro data analyst. Imparerai diversi modi per estrarre dati e persino impostare condizioni su di essi. Successivamente, conoscerai i metodi di raggruppamento dei dati. Inoltre, apprenderai come preprocessare i dati. Ogni sezione ha il proprio set di dati, rendendo il corso coinvolgente.

Questa sezione ti insegnerà come visualizzare colonne specifiche in base ai loro titoli o indici. Inoltre, verranno illustrate le modalità per selezionare le righe tramite gli indici.

Qui imparerai come estrarre dati che soddisfano condizioni specifiche. Inoltre, imparerai come combinarle e persino crearne di proprie.

In questa sezione, amplierai le tue conoscenze sull'impostazione di diverse condizioni sui dati. Imparerai a verificare se i tuoi dati sono presenti in un elenco definito di valori o compresi tra due valori. Imparerai anche come trovare i valori più grandi e più piccoli.

Questa sezione è una delle più affascinanti del corso. Qui imparerai come raggruppare i dati in diversi modi. Ti aiuterà a lavorare come data analyst per individuare informazioni su specifici gruppi di dati.

Questa sezione è una delle più significative per un data analyst perché, se i dati contengono valori mancanti o in un formato errato, sarà impossibile lavorarci. Pertanto, qui imparerai come gestire tali valori inappropriati.

Raggruppamento per più colonne

Soluzione