Summary  
This chapter explains how to use group-by operations with the `.agg()` method to apply multiple aggregation functions to one or more DataFrame columns at once, producing hierarchical summary tables.  

General domain of usage  
Data analysis

Watch this video for a clear, step-by-step walkthrough of advanced grouping and aggregation in pandas. You'll see how to use the .groupby() and .agg() methods to perform multiple, customized summary calculations at the same time. The video demonstrates grouping by one or more columns, applying several aggregation functions to different columns, and interpreting the resulting MultiIndex DataFrame. By the end, you'll understand how to efficiently generate detailed summary tables for real-world data analysis tasks using pandas.

Erweiterung des Wissens zur `.groupby()`-Methode. Wie bereits bekannt, kann die `.agg()`-Methode verwendet werden. Der Hauptvorteil dieser Funktion liegt in ihrer Flexibilität: Sie ermöglicht es, **mehrere, unterschiedliche** Aggregationen auf **mehrere** Spalten gleichzeitig anzuwenden und liefert eine übersichtliche Zusammenfassungstabelle.

Im folgenden Beispiel wurden Flüge nach `'Airline'` gruppiert. Anschließend wurde mit `.agg()` die Gesamtanzahl der Flüge (über die Spalte `'Delay'`) gezählt und gleichzeitig die kürzeste sowie die längste Flugdauer (über die Spalte `'Length'`) ermittelt. Sehr praktisch, oder?

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane', index_col = 0)
data_flights = data.groupby('Airline').agg({'Delay': 'count', 'Length': ['min', 'max']})
print(data_flights.head(10))

**Erläuterung:**

```python
.agg({'Delay': 'count', 'Length': ['min', 'max']})
```
* `.agg()`: Abkürzung für "aggregate". Diese Methode fasst die gruppierten Daten anhand der angegebenen Regeln zu zusammengefassten Statistiken zusammen.
* `{}`: Ein Python-Dictionary wird verwendet, um bestimmte Spalten bestimmten Operationen zuzuordnen. Die Schlüssel sind die gewünschten Spaltennamen, die Werte die anzuwendenden Funktionen.
* `'Delay': 'count'`: Weist pandas an, die Zählfunktion auf die Spalte `'Delay'` für jede Gruppe anzuwenden. Es wird der String-Alias `'count'` verwendet, anstatt `count()` zu schreiben. Pandas erkennt diese Standardnamen für gängige Statistiken.
* `'Length': ['min', 'max']`: Um **mehr als eine** Funktion auf eine einzelne Spalte anzuwenden, müssen die Funktionsnamen in eine Liste `[]` gesetzt werden. Hier werden sowohl der Minimal- als auch der Maximalwert für die Spalte `'Length'` berechnet.

Da mehrere Funktionen angewendet wurden, erstellt das resultierende DataFrame automatisch hierarchische (MultiIndex-)Spalten. `Length` erscheint auf der obersten Ebene, darunter sind `min` und `max` übersichtlich angeordnet.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ DataFrame Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ Ð½Ð°Ð·Ð² ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº Ñ MultiIndex."""
    try:
        df1_sorted = df1.sort_index()
        df2_sorted = df2.sort_index()
        return df1_sorted.equals(df2_sorted)
    except Exception:
        return False


class TestFlightAggregations(unittest.TestCase):
    def test_group_and_aggregate(self):
        """
        Check if the grouped DataFrame correctly aggregates:
        - mean and max of 'Time';
        - median of 'Length';
        grouped by ['AirportFrom', 'AirportTo'] (in that order).
        """
        import user_code

        # Reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane"
        df = pd.read_csv(url, index_col=0)

        # Expected result
        ref = df.groupby(['AirportFrom', 'AirportTo']).agg({'Time': ['mean', 'max'], 'Length': 'median'})

        # User result
        assert hasattr(user_code, "data_flights"), "Variable 'data_flights' is missing."
        user_result = user_code.data_flights

        # Compare
        condition = isinstance(user_result, pd.DataFrame) and frames_equal(user_result, ref)
        _dynamic_test(
            self,
            condition,
            "The grouped DataFrame 'data_flights' correctly calculates mean, max (Time) and median (Length).",
            "The aggregation result is incorrect. Ensure you group by ['AirportFrom', 'AirportTo'] and calculate the correct aggregations."
        )


class TestOutput(unittest.TestCase):
    def test_output_head_10(self):
        """
        Check that the output of print(data_flights.head(10)) is not empty.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_flights.head(10))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The first 10 rows of 'data_flights' are printed correctly using .head(10).",
            "The output is missing or incorrect. Use print(data_flights.head(10))."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Dieser Kurs enthält viele nützliche Funktionen für angehende Data Analysts. Sie lernen verschiedene Methoden zur Extraktion von Daten kennen und können sogar Bedingungen darauf anwenden. Anschließend werden Sie mit Methoden zur Gruppierung von Daten vertraut gemacht. Außerdem lernen Sie, wie man Daten vorverarbeitet. Jeder Abschnitt verfügt über einen eigenen Datensatz, sodass der Kurs spannend bleibt.

In diesem Abschnitt lernen Sie, wie Sie bestimmte Spalten anhand ihrer Titel oder Indizes ausgeben. Außerdem machen Sie sich mit den Methoden vertraut, mit denen Sie Zeilen anhand von Indizes auswählen können.

Hier lernen Sie, wie man Daten extrahiert, die bestimmte Bedingungen erfüllen. Außerdem lernen Sie, wie man diese kombiniert und sogar eigene Bedingungen erstellt.

In diesem Abschnitt erweitern Sie Ihr Wissen über das Festlegen verschiedener Datenbedingungen. Sie lernen, zu überprüfen, ob Ihre Daten in einer definierten Werteliste oder zwischen zwei Werten liegen. Sie erfahren außerdem, wie Sie die größten und kleinsten Werte finden.

Dieser Abschnitt ist einer der faszinierendsten des Kurses. Hier lernen Sie, wie Sie Daten auf verschiedene Arten gruppieren können. Dies wird Ihnen als Data Analyst helfen, Informationen über bestimmte Datengruppen zu ermitteln.

Dieser Abschnitt ist einer der wichtigsten für Datenanalysten, da es unmöglich ist, mit Daten zu arbeiten, wenn sie fehlende Werte oder ein falsches Format enthalten. Daher lernen Sie hier, wie man mit solchen ungeeigneten Werten umgeht.

Fortgeschrittene Gruppierung

Lösung