Summary  
This chapter covers techniques for imputing missing values in tabular data—using methods like replacing NaNs with a constant, the mean, the median, or by propagating adjacent values via forward-fill and backward-fill through the fillna function.

General domain of usage  
Data cleaning

Watch this video for a step-by-step walkthrough of how to fill in missing values using pandas. You'll see practical demonstrations of the `.fillna()` method, how to use statistical functions like `.mean()` and `.median()` to replace `NaN` values, and learn when to use different filling strategies. This visual guide will help reinforce the concepts and code examples you've just explored, making it easier to handle missing data in your own projects.

Das Löschen fehlender Werte ist nicht die einzige Möglichkeit, sie zu entfernen. Sie können auch alle NaN-Werte durch einen definierten Wert ersetzen, zum Beispiel durch den Mittelwert der Spalte oder durch Nullen. Dies kann in vielen Fällen nützlich sein. Sie lernen dies im Kurs <a href="https://codefinity.com/courses/v2/a849660e-ddfa-4033-80a6-94a1b7772e23" target="_blank"><svg width="1em" height="1em" viewBox="0 0 30 32" fill="none" xmlns="http://www.w3.org/2000/svg"><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M17.289 17.305v0c-1.754 1.754-4.597 1.754-6.351 0l-7.76-7.759c-1.755-1.755-1.755-4.601 0-6.356v0c1.753-1.753 4.595-1.756 6.351-0.005l6.208 6.187"></path><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M12.504 13.97v0c1.754-1.754 4.597-1.754 6.351 0l7.762 7.762c1.754 1.754 1.754 4.597 0 6.351v0c-1.754 1.754-4.597 1.754-6.351 0l-5.953-5.953"></path></svg> Learning Statistics with Python</a>.

Beispiel für das Auffüllen fehlender Werte in der Spalte `'Age'` mit dem Medianwert dieser Spalte:

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_2', index_col = 0)
data['Age'].fillna(value=data['Age'].median(), inplace=True)
print(data['Age'].isna().sum())

**Erläuterung:**

```python
.fillna(value=data['Age'].median(), inplace=True)
```
- `value = data['Age'].median()` – Mit dem Argument `value` geben wir der Methode `.fillna()` an, wie mit den `NaN`-Werten verfahren werden soll. In diesem Fall wenden wir die Methode `.fillna()` auf die Spalte `'Age'` an und ersetzen alle fehlenden Werte durch den **Median** der Spalte;
- `inplace=True` – Argument, das verwendet wird, um die Änderungen zu speichern.

import unittest
import pandas as pd
import io
import sys
import numpy as np


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestFillNaMean(unittest.TestCase):
    def test_age_filled_with_mean(self):
        """
        1. Check that all NaN values in the 'Age' column were replaced with the mean of that column.
        """
        import user_code

        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_2"
        df_ref = pd.read_csv(url, index_col=0)

        # Calculate reference mean (excluding NaN)
        mean_age = df_ref["Age"].mean()

        # User result
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data.copy()

        # Condition 1: no NaN values in Age
        no_nans = df_user["Age"].isna().sum() == 0

        # Condition 2: filled values match mean where they were previously NaN
        mask_nan = df_ref["Age"].isna()
        filled_correctly = True
        if mask_nan.any():
            filled_correctly = np.allclose(
                df_user.loc[mask_nan, "Age"], mean_age, rtol=1e-7, atol=1e-9
            )

        condition = no_nans and filled_correctly
        _dynamic_test(
            self,
            condition,
            "All NaN values in 'Age' were correctly replaced with the mean of that column.",
            "The 'Age' column still has missing values or was not filled with the mean correctly."
        )


class TestCountNaN(unittest.TestCase):
    def test_age_nan_count_zero(self):
        """
        2. Check that the number of missing values in 'Age' is 0 and is printed.
        """
        import user_code

        # Check NaN count variable
        assert hasattr(user_code, "NaN"), "Variable 'NaN' not found."
        nan_value = user_code.NaN
        condition = isinstance(nan_value, (int, np.integer)) and nan_value == 0

        _dynamic_test(
            self,
            condition,
            "The variable storing the NaN count correctly equals 0.",
            "The variable with NaN count is incorrect or not 0."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. Check that the NaN count was printed to the output.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.NaN)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count was printed successfully.",
            "The output is missing. Use print(NaN) to display the NaN count."
        )


if __name__ == "__main__":
    unittest.main()



test_code.py

Dieser Kurs enthält viele nützliche Funktionen für angehende Data Analysts. Sie lernen verschiedene Methoden zur Extraktion von Daten kennen und können sogar Bedingungen darauf anwenden. Anschließend werden Sie mit Methoden zur Gruppierung von Daten vertraut gemacht. Außerdem lernen Sie, wie man Daten vorverarbeitet. Jeder Abschnitt verfügt über einen eigenen Datensatz, sodass der Kurs spannend bleibt.

In diesem Abschnitt lernen Sie, wie Sie bestimmte Spalten anhand ihrer Titel oder Indizes ausgeben. Außerdem machen Sie sich mit den Methoden vertraut, mit denen Sie Zeilen anhand von Indizes auswählen können.

Hier lernen Sie, wie man Daten extrahiert, die bestimmte Bedingungen erfüllen. Außerdem lernen Sie, wie man diese kombiniert und sogar eigene Bedingungen erstellt.

In diesem Abschnitt erweitern Sie Ihr Wissen über das Festlegen verschiedener Datenbedingungen. Sie lernen, zu überprüfen, ob Ihre Daten in einer definierten Werteliste oder zwischen zwei Werten liegen. Sie erfahren außerdem, wie Sie die größten und kleinsten Werte finden.

Dieser Abschnitt ist einer der faszinierendsten des Kurses. Hier lernen Sie, wie Sie Daten auf verschiedene Arten gruppieren können. Dies wird Ihnen als Data Analyst helfen, Informationen über bestimmte Datengruppen zu ermitteln.

Dieser Abschnitt ist einer der wichtigsten für Datenanalysten, da es unmöglich ist, mit Daten zu arbeiten, wenn sie fehlende Werte oder ein falsches Format enthalten. Daher lernen Sie hier, wie man mit solchen ungeeigneten Werten umgeht.

Ausfüllen der Fehlenden Werte

Lösung