Summary  
This chapter explains how to use group-by operations with the `.agg()` method to apply multiple aggregation functions to one or more DataFrame columns at once, producing hierarchical summary tables.  

General domain of usage  
Data analysis

Watch this video for a clear, step-by-step walkthrough of advanced grouping and aggregation in pandas. You'll see how to use the .groupby() and .agg() methods to perform multiple, customized summary calculations at the same time. The video demonstrates grouping by one or more columns, applying several aggregation functions to different columns, and interpreting the resulting MultiIndex DataFrame. By the end, you'll understand how to efficiently generate detailed summary tables for real-world data analysis tasks using pandas.

Laajennetaan tietämystämme `.groupby()`-metodista. Kuten muistat, voimme käyttää myös `.agg()`-metodia. Tämän funktion tärkein etu on sen joustavuus: sen avulla voidaan soveltaa **useita, erilaisia** aggregaatioita **useisiin** sarakkeisiin samanaikaisesti, jolloin saadaan selkeä yhteenvetotaulukko.

Katso alla olevaa esimerkkiä. Ryhmittelimme lennot `'Airline'`-sarakkeen mukaan. Sitten käytimme `.agg()`-metodia laskeaksemme lentojen kokonaismäärän (käyttäen `'Delay'`-sarakeetta) ja samanaikaisesti etsimme lyhimmän ja pisimmän lentomatkan keston (käyttäen `'Length'`-sarakeetta). Kätevää, eikö totta?

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane', index_col = 0)
data_flights = data.groupby('Airline').agg({'Delay': 'count', 'Length': ['min', 'max']})
print(data_flights.head(10))

**Selitys:**

```python
.agg({'Delay': 'count', 'Length': ['min', 'max']})
```
* `.agg()`: Lyhenne sanasta "aggregate". Tämä metodi tiivistää ryhmitellyn datan yhteenvetotilastoiksi antamiesi sääntöjen perusteella.
* `{}`: Käytämme Python-sanakirjaa yhdistääksemme tietyt sarakkeet tiettyihin operaatioihin. Avaimet ovat sarakkeiden nimet, joihin haluat kohdistaa toiminnot, ja arvot ovat funktioita, joita haluat soveltaa.
* `'Delay': 'count'`: Käskee pandas-kirjastoa laskemaan `'Delay'`-sarakkeen arvojen määrän jokaisessa ryhmässä. Huomaa, että annamme merkkijonoaliaksen `'count'` sen sijaan, että kirjoittaisimme `count()`. Pandas tunnistaa nämä yleiset tilastolliset merkkijononimet.
* `'Length': ['min', 'max']`: Jos haluat soveltaa **useampaa kuin yhtä** funktiota yhteen sarakkeeseen, funktioiden nimet tulee laittaa listaan `[]`. Tässä lasketaan sekä pienin että suurin arvo `'Length'`-sarakkeelle.

Koska sovelsimme useita funktioita, tuloksena syntyvä DataFrame luo automaattisesti hierarkkiset (MultiIndex) sarakkeet. Näet `Length`-sarakkeen ylimmällä tasolla, ja sen alla `min` ja `max` siististi luokiteltuna.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ DataFrame Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ Ð½Ð°Ð·Ð² ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº Ñ MultiIndex."""
    try:
        df1_sorted = df1.sort_index()
        df2_sorted = df2.sort_index()
        return df1_sorted.equals(df2_sorted)
    except Exception:
        return False


class TestFlightAggregations(unittest.TestCase):
    def test_group_and_aggregate(self):
        """
        Check if the grouped DataFrame correctly aggregates:
        - mean and max of 'Time';
        - median of 'Length';
        grouped by ['AirportFrom', 'AirportTo'] (in that order).
        """
        import user_code

        # Reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane"
        df = pd.read_csv(url, index_col=0)

        # Expected result
        ref = df.groupby(['AirportFrom', 'AirportTo']).agg({'Time': ['mean', 'max'], 'Length': 'median'})

        # User result
        assert hasattr(user_code, "data_flights"), "Variable 'data_flights' is missing."
        user_result = user_code.data_flights

        # Compare
        condition = isinstance(user_result, pd.DataFrame) and frames_equal(user_result, ref)
        _dynamic_test(
            self,
            condition,
            "The grouped DataFrame 'data_flights' correctly calculates mean, max (Time) and median (Length).",
            "The aggregation result is incorrect. Ensure you group by ['AirportFrom', 'AirportTo'] and calculate the correct aggregations."
        )


class TestOutput(unittest.TestCase):
    def test_output_head_10(self):
        """
        Check that the output of print(data_flights.head(10)) is not empty.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_flights.head(10))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The first 10 rows of 'data_flights' are printed correctly using .head(10).",
            "The output is missing or incorrect. Use print(data_flights.head(10))."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Tämä kurssi sisältää runsaasti hyödyllisiä toimintoja tulevalle data-analyytikolle. Opit erilaisia tapoja tietojen poimimiseen ja voit jopa asettaa niille ehtoja. Tämän jälkeen tulet tutuksi tietojen ryhmittelymenetelmien kanssa. Lisäksi opit, kuinka esikäsitellä tietoja. Jokaisessa osiossa on oma tietoaineistonsa, joten kurssi on mukaansatempaava.

Tässä osiossa opit, kuinka voit tulostaa tiettyjä sarakkeita niiden nimien tai indeksien perusteella. Lisäksi tutustut tapoihin, joilla voit valita rivejä indeksien avulla.

Tässä opit, kuinka voit poimia dataa, jolla on tietyt ehdot. Opit myös, kuinka yhdistää näitä ehtoja ja jopa luoda omia ehtoja.

Tässä osiossa laajennat tietämystäsi erilaisten datan ehtojen asettamisesta. Opit tarkistamaan, onko datasi määritellyssä arvolistassa tai kahden arvon välillä. Opit myös löytämään suurimmat ja pienimmät arvot.

Tämä osio on yksi kurssin kiehtovimmista. Tässä opit ryhmittelemään dataa eri tavoilla. Tämä auttaa sinua työskentelemään data-analyytikkona ja löytämään tietoa tietyistä dataryhmistä.

Tämä osio on yksi tärkeimmistä data-analyytikolle, koska jos data sisältää puuttuvia arvoja tai on väärässä muodossa, sen kanssa työskentely on mahdotonta. Tässä opit käsittelemään tällaisia sopimattomia arvoja.

Edistynyt Ryhmittely

Ratkaisu