Summary  
This chapter covers advanced DataFrame grouping techniques, including using custom aggregation functions with apply, grouping by multiple columns for multi-level analysis, and applying filter and transform operations to refine and reshape group-wise results.

General domain of usage  
Retail sales performance analysis

A veces ocurre que no estamos satisfechos con las funciones integradas de **pandas**, como `.mean()` o `.min()` al agrupar.

Watch this video for a clear, step-by-step walkthrough of complicated grouping techniques in pandas. You'll see how to use custom aggregation functions with `.apply()`, combine multiple columns for grouping, and interpret the results. The visual examples will reinforce how to combine group keys, perform custom calculations, and apply advanced logic to grouped data, building on the code and explanations you've just seen.

Observa la columna `'Length'`; aquí tenemos la duración del vuelo en minutos. Imagina que queremos calcular el tiempo máximo en horas para los elementos que tienen el mismo valor en la columna `'Flight'` y luego en la de `'Airline'`. Para hacerlo, podemos calcular el valor máximo de la columna `'Length'` para cada clave de grupo y luego dividirlo por `60`. Observa el ejemplo y la explicación a continuación.

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane', index_col = 0)
data_flights = data[['Flight', 'Airline', 'Length']].groupby(['Flight', 'Airline']).apply(lambda x: x['Length'].max()/60)
print(data_flights.head(10))

**Explicación:**

Hicimos que el ejemplo de los capítulos anteriores fuera un poco más complicado, pero con el agrupamiento de datos, todo sigue igual; ahora pasemos al método `.apply()`.

```python
.apply(lambda x: x['Length'].max()/60)
```
- `.apply()` - ayuda a aplicar una función específica a las columnas necesarias;
- en la función `lambda`, `x` es el argumento y `x['Length'].max()/60` es la expresión. Así, la función encuentra el valor **máximo** para cada clave de grupo y divide el valor agregado por `60`.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def series_equal(s1, s2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ Series Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ Ð½Ð°Ð·Ð²Ð¸, Ð°Ð»Ðµ Ð· ÑÑÐ°ÑÑÐ²Ð°Ð½Ð½ÑÐ¼ ÑÐ½Ð´ÐµÐºÑÑ ÑÐ° Ð·Ð½Ð°ÑÐµÐ½Ñ."""
    try:
        return s1.reset_index(drop=False).equals(s2.reset_index(drop=False))
    except Exception:
        return False


class TestFlightGrouping(unittest.TestCase):
    def test_grouped_min_sum(self):
        """
        Check if the grouped Series has correct values for min(Length + Time)
        by AirportFrom, Airline, and DayOfWeek.
        """
        import user_code

        # reference dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/plane"
        df = pd.read_csv(url, index_col=0)

        # expected result
        ref_cols = ["AirportFrom", "Airline", "DayOfWeek", "Time", "Length"]
        ref = df[ref_cols].groupby(["AirportFrom", "Airline", "DayOfWeek"]).apply(
            lambda x: (x["Length"] + x["Time"]).min()
        )

        # user result
        assert hasattr(user_code, "data_flights"), "Variable 'data_flights' is missing."
        user_result = user_code.data_flights

        # check equality
        condition = isinstance(user_result, pd.Series) and series_equal(user_result, ref)
        _dynamic_test(
            self,
            condition,
            "The grouped Series 'data_flights' matches the expected minimum (Length + Time) per group.",
            "The result of 'data_flights' is incorrect. Ensure you group by AirportFrom, Airline, and DayOfWeek, "
            "and compute the minimum of (Length + Time)."
        )


class TestOutput(unittest.TestCase):
    def test_print_output(self):
        """
        Check that the output of print(data_flights.head(10)) is not empty.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_flights.head(10))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The output displays the first 10 rows of 'data_flights' correctly.",
            "The output is missing or incorrect. Use print(data_flights.head(10))."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Este curso contiene muchas funciones útiles para un futuro analista de datos. Aprenderás diferentes formas de extraer datos e incluso establecer condiciones sobre ellos. Después de esto, estarás familiarizado con los métodos de agrupación de datos. Además, aprenderás cómo preprocesar datos. Cada sección tiene su propio conjunto de datos, lo que hace que el curso sea atractivo.

Esta sección te enseñará cómo mostrar columnas específicas por sus títulos o índices. Además, te familiarizarás con las formas en que puedes seleccionar filas por índices.

Aquí aprenderás cómo extraer datos que cumplen condiciones específicas. Además, aprenderás cómo combinarlas e incluso crear tus propias condiciones.

En esta sección, ampliarás tus conocimientos sobre cómo establecer diferentes condiciones de datos. Aprenderás a verificar si tus datos se encuentran en una lista definida de valores o entre dos valores. También aprenderás a encontrar los valores más grandes y más pequeños.

Esta sección es una de las más fascinantes del curso. Aquí aprenderás cómo agrupar datos de diferentes maneras. Te ayudará a trabajar como analista de datos para descubrir información sobre grupos de datos específicos.

Esta sección es una de las más significativas para un analista de datos porque si los datos contienen valores faltantes o en un formato incorrecto, será imposible trabajar con ellos. Por lo tanto, aquí aprenderás cómo tratar con dichos valores inapropiados.

Agrupación Complicada

Solución