Summary  
This chapter covers advanced DataFrame grouping techniques, including using custom aggregation functions with apply, grouping by multiple columns for multi-level analysis, and applying filter and transform operations to refine and reshape group-wise results.

General domain of usage  
Retail sales performance analysis

Ibland händer det att vi inte är nöjda med inbyggda **pandas**-funktioner, såsom `.mean()` eller `.min()` vid gruppering.

Watch this video for a clear, step-by-step walkthrough of complicated grouping techniques in pandas. You'll see how to use custom aggregation functions with `.apply()`, combine multiple columns for grouping, and interpret the results. The visual examples will reinforce how to combine group keys, perform custom calculations, and apply advanced logic to grouped data, building on the code and explanations you've just seen.

Titta på kolumnen `'Length'`; här har vi flygtiden i minuter. Föreställ dig att vi vill beräkna den maximala tiden i timmar för poster med samma värde i kolumnen `'Flight'` och sedan i `'Airline'`. För att göra detta kan vi beräkna det maximala värdet i kolumnen `'Length'` för varje gruppnyckel och sedan dividera det med `60`. Se exemplet och förklaringen nedan.

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane', index_col = 0)
data_flights = data[['Flight', 'Airline', 'Length']].groupby(['Flight', 'Airline']).apply(lambda x: x['Length'].max()/60)
print(data_flights.head(10))

**Förklaring:** 

Vi har gjort exemplet från de tidigare kapitlen lite mer komplicerat, så när det gäller datagruppning är allt detsamma; låt oss nu titta på metoden `.apply()`.

```python
.apply(lambda x: x['Length'].max()/60)
```
- `.apply()` – används för att tillämpa en specifik funktion på önskade kolumner;
- i `lambda`-funktionen är `x` argumentet och `x['Length'].max()/60` är uttrycket. Funktionen hittar alltså det **högsta** värdet för varje gruppnyckel och dividerar det aggregerade värdet med `60`.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def series_equal(s1, s2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ Series Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ Ð½Ð°Ð·Ð²Ð¸, Ð°Ð»Ðµ Ð· ÑÑÐ°ÑÑÐ²Ð°Ð½Ð½ÑÐ¼ ÑÐ½Ð´ÐµÐºÑÑ ÑÐ° Ð·Ð½Ð°ÑÐµÐ½Ñ."""
    try:
        return s1.reset_index(drop=False).equals(s2.reset_index(drop=False))
    except Exception:
        return False


class TestFlightGrouping(unittest.TestCase):
    def test_grouped_min_sum(self):
        """
        Check if the grouped Series has correct values for min(Length + Time)
        by AirportFrom, Airline, and DayOfWeek.
        """
        import user_code

        # reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane"
        df = pd.read_csv(url, index_col=0)

        # expected result
        ref_cols = ["AirportFrom", "Airline", "DayOfWeek", "Time", "Length"]
        ref = df[ref_cols].groupby(["AirportFrom", "Airline", "DayOfWeek"]).apply(
            lambda x: (x["Length"] + x["Time"]).min()
        )

        # user result
        assert hasattr(user_code, "data_flights"), "Variable 'data_flights' is missing."
        user_result = user_code.data_flights

        # check equality
        condition = isinstance(user_result, pd.Series) and series_equal(user_result, ref)
        _dynamic_test(
            self,
            condition,
            "The grouped Series 'data_flights' matches the expected minimum (Length + Time) per group.",
            "The result of 'data_flights' is incorrect. Ensure you group by AirportFrom, Airline, and DayOfWeek, "
            "and compute the minimum of (Length + Time)."
        )


class TestOutput(unittest.TestCase):
    def test_print_output(self):
        """
        Check that the output of print(data_flights.head(10)) is not empty.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_flights.head(10))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The output displays the first 10 rows of 'data_flights' correctly.",
            "The output is missing or incorrect. Use print(data_flights.head(10))."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Denna kurs innehåller många användbara funktioner för en framtida dataanalytiker. Du kommer att lära dig olika sätt att extrahera data och även sätta villkor på den. Därefter kommer du att bli bekant med metoder för att gruppera data. Du kommer också att lära dig hur man förbehandlar data. Varje avsnitt har sitt eget dataset, vilket gör kursen engagerande.

Detta avsnitt lär dig hur du kan visa specifika kolumner utifrån deras titlar eller index. Du kommer även att bekanta dig med olika sätt att välja rader utifrån index.

Här kommer du att lära dig hur du extraherar data som uppfyller specifika villkor. Du kommer även att lära dig hur du kombinerar dessa och till och med skapar egna.

I det här avsnittet kommer du att fördjupa dina kunskaper om att ställa in olika datavillkor. Du kommer att lära dig att kontrollera om dina data finns i en definierad lista av värden eller mellan två värden. Du kommer även att lära dig hur du hittar de största och minsta värdena.

Detta avsnitt är ett av de mest fascinerande i kursen. Här kommer du att lära dig hur man grupperar data på olika sätt. Det kommer att hjälpa dig att arbeta som dataanalytiker för att hitta information om specifika datagrupper.

Detta avsnitt är ett av de mest betydelsefulla för en dataanalytiker eftersom det blir omöjligt att arbeta med data om den innehåller saknade värden eller är i fel format. Därför kommer du att lära dig hur man hanterar sådana olämpliga värden här.

Komplicerad Gruppering

Lösning