Summary  
This chapter covers techniques for imputing missing values in tabular data—using methods like replacing NaNs with a constant, the mean, the median, or by propagating adjacent values via forward-fill and backward-fill through the fillna function.

General domain of usage  
Data cleaning

Watch this video for a step-by-step walkthrough of how to fill in missing values using pandas. You'll see practical demonstrations of the `.fillna()` method, how to use statistical functions like `.mean()` and `.median()` to replace `NaN` values, and learn when to use different filling strategies. This visual guide will help reinforce the concepts and code examples you've just explored, making it easier to handle missing data in your own projects.

Att ta bort saknade värden är inte det enda sättet att bli av med dem. Du kan också ersätta alla NaN med ett definierat värde, till exempel med medelvärdet för kolumnen eller med nollor. Det kan vara användbart i många fall. Du kommer att lära dig detta i kursen <a href="https://codefinity.com/courses/v2/a849660e-ddfa-4033-80a6-94a1b7772e23" target="_blank"><svg width="1em" height="1em" viewBox="0 0 30 32" fill="none" xmlns="http://www.w3.org/2000/svg"><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M17.289 17.305v0c-1.754 1.754-4.597 1.754-6.351 0l-7.76-7.759c-1.755-1.755-1.755-4.601 0-6.356v0c1.753-1.753 4.595-1.756 6.351-0.005l6.208 6.187"></path><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M12.504 13.97v0c1.754-1.754 4.597-1.754 6.351 0l7.762 7.762c1.754 1.754 1.754 4.597 0 6.351v0c-1.754 1.754-4.597 1.754-6.351 0l-5.953-5.953"></path></svg> Learning Statistics with Python</a>.

Titta på exemplet där saknade värden i kolumnen `'Age'` fylls i med medianvärdet för denna kolumn:

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_2', index_col = 0)
data['Age'].fillna(value=data['Age'].median(), inplace=True)
print(data['Age'].isna().sum())

**Förklaring:**

```python
.fillna(value=data['Age'].median(), inplace=True)
```
- `value = data['Age'].median()` – med argumentet `value` anger vi för metoden `.fillna()` vad som ska göras med `NaN`-värdena. I detta fall har vi använt metoden `.fillna()` på kolumnen `'Age'` och ersatt alla saknade värden med **medianen** för kolumnen;
- `inplace=True` – argumentet vi kan använda för att spara ändringarna.

import unittest
import pandas as pd
import io
import sys
import numpy as np


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestFillNaMean(unittest.TestCase):
    def test_age_filled_with_mean(self):
        """
        1. Check that all NaN values in the 'Age' column were replaced with the mean of that column.
        """
        import user_code

        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_2"
        df_ref = pd.read_csv(url, index_col=0)

        # Calculate reference mean (excluding NaN)
        mean_age = df_ref["Age"].mean()

        # User result
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data.copy()

        # Condition 1: no NaN values in Age
        no_nans = df_user["Age"].isna().sum() == 0

        # Condition 2: filled values match mean where they were previously NaN
        mask_nan = df_ref["Age"].isna()
        filled_correctly = True
        if mask_nan.any():
            filled_correctly = np.allclose(
                df_user.loc[mask_nan, "Age"], mean_age, rtol=1e-7, atol=1e-9
            )

        condition = no_nans and filled_correctly
        _dynamic_test(
            self,
            condition,
            "All NaN values in 'Age' were correctly replaced with the mean of that column.",
            "The 'Age' column still has missing values or was not filled with the mean correctly."
        )


class TestCountNaN(unittest.TestCase):
    def test_age_nan_count_zero(self):
        """
        2. Check that the number of missing values in 'Age' is 0 and is printed.
        """
        import user_code

        # Check NaN count variable
        assert hasattr(user_code, "NaN"), "Variable 'NaN' not found."
        nan_value = user_code.NaN
        condition = isinstance(nan_value, (int, np.integer)) and nan_value == 0

        _dynamic_test(
            self,
            condition,
            "The variable storing the NaN count correctly equals 0.",
            "The variable with NaN count is incorrect or not 0."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. Check that the NaN count was printed to the output.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.NaN)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count was printed successfully.",
            "The output is missing. Use print(NaN) to display the NaN count."
        )


if __name__ == "__main__":
    unittest.main()



test_code.py

Denna kurs innehåller många användbara funktioner för en framtida dataanalytiker. Du kommer att lära dig olika sätt att extrahera data och även sätta villkor på den. Därefter kommer du att bli bekant med metoder för att gruppera data. Du kommer också att lära dig hur man förbehandlar data. Varje avsnitt har sitt eget dataset, vilket gör kursen engagerande.

Detta avsnitt lär dig hur du kan visa specifika kolumner utifrån deras titlar eller index. Du kommer även att bekanta dig med olika sätt att välja rader utifrån index.

Här kommer du att lära dig hur du extraherar data som uppfyller specifika villkor. Du kommer även att lära dig hur du kombinerar dessa och till och med skapar egna.

I det här avsnittet kommer du att fördjupa dina kunskaper om att ställa in olika datavillkor. Du kommer att lära dig att kontrollera om dina data finns i en definierad lista av värden eller mellan två värden. Du kommer även att lära dig hur du hittar de största och minsta värdena.

Detta avsnitt är ett av de mest fascinerande i kursen. Här kommer du att lära dig hur man grupperar data på olika sätt. Det kommer att hjälpa dig att arbeta som dataanalytiker för att hitta information om specifika datagrupper.

Detta avsnitt är ett av de mest betydelsefulla för en dataanalytiker eftersom det blir omöjligt att arbeta med data om den innehåller saknade värden eller är i fel format. Därför kommer du att lära dig hur man hanterar sådana olämpliga värden här.

Filling in the Missing Values

Lösning