Summary
This chapter explains how to use the pandas groupby().agg() method to apply multiple aggregation functions to multiple DataFrame columns at once, producing a concise summary table with hierarchical column labels.

General domain of usage
Airline flight data analysis

Erweitern wir unser Wissen über die Methode `.groupby()`. Wie Sie sich erinnern, können wir die Methode `.agg()` verwenden. Der Hauptvorteil dieser Funktion liegt in ihrer Flexibilität: Sie ermöglicht es, **mehrere, unterschiedliche** Aggregationen auf **mehrere** Spalten gleichzeitig anzuwenden und liefert eine übersichtliche Zusammenfassungstabelle.

Sehen Sie sich das folgende Beispiel an. Wir haben Flüge nach `'Airline'` gruppiert. Anschließend haben wir mit `.agg()` die Gesamtanzahl der Flüge (über die Spalte `'Delay'`) gezählt und gleichzeitig die kürzeste sowie längste Flugdauer (über die Spalte `'Length'`) ermittelt. Sehr praktisch, nicht wahr?

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane', index_col = 0)
data_flights = data.groupby('Airline').agg({'Delay': 'count', 'Length': ['min', 'max']})
print(data_flights.head(10))

**Erläuterung:**

```python
.agg({'Delay': 'count', 'Length': ['min', 'max']})
```
* `.agg()`: Kurzform für "aggregate" (aggregieren). Diese Methode fasst die gruppierten Daten anhand der von Ihnen angegebenen Regeln zu zusammenfassenden Statistiken zusammen.
* `{}`: Wir verwenden ein Python-Dictionary, um bestimmten Spalten bestimmte Operationen zuzuweisen. Die Schlüssel sind die gewünschten Spaltennamen, die Werte die anzuwendenden Funktionen.
* `'Delay': 'count'`: Weist pandas an, die Zählfunktion auf die Spalte `'Delay'` für jede Gruppe anzuwenden. Beachten Sie, dass wir den String-Alias `'count'` übergeben, anstatt `count()` zu schreiben. Pandas erkennt diese Standardnamen für gängige Statistiken.
* `'Length': ['min', 'max']`: Wenn Sie **mehr als eine** Funktion auf eine einzelne Spalte anwenden möchten, müssen Sie die Funktionsnamen in eine Liste `[]` setzen. Hier berechnen wir sowohl den Minimal- als auch den Maximalwert für die Spalte `'Length'`.

Da wir mehrere Funktionen angewendet haben, erstellt das resultierende DataFrame automatisch hierarchische (MultiIndex-)Spalten. Sie sehen `Length` auf der obersten Ebene, mit `min` und `max` ordentlich darunter kategorisiert.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ DataFrame Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ Ð½Ð°Ð·Ð² ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº Ñ MultiIndex."""
    try:
        df1_sorted = df1.sort_index()
        df2_sorted = df2.sort_index()
        return df1_sorted.equals(df2_sorted)
    except Exception:
        return False


class TestFlightAggregations(unittest.TestCase):
    def test_group_and_aggregate(self):
        """
        Check if the grouped DataFrame correctly aggregates:
        - mean and max of 'Time';
        - median of 'Length';
        grouped by ['AirportFrom', 'AirportTo'] (in that order).
        """
        import user_code

        # Reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane"
        df = pd.read_csv(url, index_col=0)

        # Expected result
        ref = df.groupby(['AirportFrom', 'AirportTo']).agg({'Time': ['mean', 'max'], 'Length': 'median'})

        # User result
        assert hasattr(user_code, "data_flights"), "Variable 'data_flights' is missing."
        user_result = user_code.data_flights

        # Compare
        condition = isinstance(user_result, pd.DataFrame) and frames_equal(user_result, ref)
        _dynamic_test(
            self,
            condition,
            "The grouped DataFrame 'data_flights' correctly calculates mean, max (Time) and median (Length).",
            "The aggregation result is incorrect. Ensure you group by ['AirportFrom', 'AirportTo'] and calculate the correct aggregations."
        )


class TestOutput(unittest.TestCase):
    def test_output_head_10(self):
        """
        Check that the output of print(data_flights.head(10)) is not empty.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_flights.head(10))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The first 10 rows of 'data_flights' are printed correctly using .head(10).",
            "The output is missing or incorrect. Use print(data_flights.head(10))."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Dieser Kurs enthält zahlreiche nützliche Funktionen für angehende Data Analysts. Sie lernen verschiedene Methoden zur Extraktion von Daten kennen und können sogar Bedingungen darauf anwenden. Anschließend werden Ihnen Methoden zur Gruppierung von Daten vermittelt. Außerdem lernen Sie, wie Daten vorverarbeitet werden. Jeder Abschnitt verfügt über einen eigenen Datensatz, sodass der Kurs spannend bleibt.

In diesem Abschnitt lernen Sie, wie Sie bestimmte Spalten anhand ihrer Titel oder Indizes ausgeben. Außerdem machen Sie sich mit den Methoden zur Auswahl von Zeilen anhand von Indizes vertraut.

Hier lernen Sie, wie Sie Daten extrahieren, die bestimmte Bedingungen erfüllen. Außerdem erfahren Sie, wie Sie diese kombinieren und eigene Bedingungen erstellen.

In diesem Abschnitt erweitern Sie Ihr Wissen über das Festlegen verschiedener Datenbedingungen. Sie lernen, zu überprüfen, ob sich Ihre Daten in einer definierten Werteliste oder zwischen zwei Werten befinden. Außerdem erfahren Sie, wie Sie die größten und kleinsten Werte ermitteln.

Dieser Abschnitt gehört zu den faszinierendsten des Kurses. Hier lernen Sie, wie Daten auf verschiedene Arten gruppiert werden können. Dies unterstützt Sie als Datenanalyst dabei, Informationen über bestimmte Datengruppen zu ermitteln.

Dieser Abschnitt ist für Datenanalysten von großer Bedeutung, da eine fehlerhafte Formatierung oder fehlende Werte in den Daten die weitere Verarbeitung unmöglich machen. Hier wird vermittelt, wie mit solchen ungeeigneten Werten umzugehen ist.

Fortgeschrittene Gruppierung

Lösung