Summary  
This chapter covers techniques for imputing missing values in tabular data—using methods like replacing NaNs with a constant, the mean, the median, or by propagating adjacent values via forward-fill and backward-fill through the fillna function.

General domain of usage  
Data cleaning

Watch this video for a step-by-step walkthrough of how to fill in missing values using pandas. You'll see practical demonstrations of the `.fillna()` method, how to use statistical functions like `.mean()` and `.median()` to replace `NaN` values, and learn when to use different filling strategies. This visual guide will help reinforce the concepts and code examples you've just explored, making it easier to handle missing data in your own projects.

Excluir valores ausentes não é a única maneira de lidar com eles. Também é possível substituir todos os NaNs por um valor definido, por exemplo, pela média da coluna ou por zeros. Essa abordagem pode ser útil em muitos casos. Este conceito será abordado no curso <a href="https://codefinity.com/courses/v2/a849660e-ddfa-4033-80a6-94a1b7772e23" target="_blank"><svg width="1em" height="1em" viewBox="0 0 30 32" fill="none" xmlns="http://www.w3.org/2000/svg"><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M17.289 17.305v0c-1.754 1.754-4.597 1.754-6.351 0l-7.76-7.759c-1.755-1.755-1.755-4.601 0-6.356v0c1.753-1.753 4.595-1.756 6.351-0.005l6.208 6.187"></path><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M12.504 13.97v0c1.754-1.754 4.597-1.754 6.351 0l7.762 7.762c1.754 1.754 1.754 4.597 0 6.351v0c-1.754 1.754-4.597 1.754-6.351 0l-5.953-5.953"></path></svg> Learning Statistics with Python</a>.

Veja o exemplo de preenchimento dos valores ausentes na coluna `'Age'` com o valor mediano dessa coluna:

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_2', index_col = 0)
data['Age'].fillna(value=data['Age'].median(), inplace=True)
print(data['Age'].isna().sum())

**Explicação:**

```python
.fillna(value=data['Age'].median(), inplace=True)
```
- `value = data['Age'].median()` - utilizando o argumento `value`, informamos ao método `.fillna()` como tratar os valores `NaN`. Neste caso, aplicamos o método `.fillna()` à coluna `'Age'` e substituímos todos os valores ausentes pela **mediana** da coluna;
- `inplace=True` - argumento utilizado para salvar as alterações.

import unittest
import pandas as pd
import io
import sys
import numpy as np


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestFillNaMean(unittest.TestCase):
    def test_age_filled_with_mean(self):
        """
        1. Check that all NaN values in the 'Age' column were replaced with the mean of that column.
        """
        import user_code

        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_2"
        df_ref = pd.read_csv(url, index_col=0)

        # Calculate reference mean (excluding NaN)
        mean_age = df_ref["Age"].mean()

        # User result
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data.copy()

        # Condition 1: no NaN values in Age
        no_nans = df_user["Age"].isna().sum() == 0

        # Condition 2: filled values match mean where they were previously NaN
        mask_nan = df_ref["Age"].isna()
        filled_correctly = True
        if mask_nan.any():
            filled_correctly = np.allclose(
                df_user.loc[mask_nan, "Age"], mean_age, rtol=1e-7, atol=1e-9
            )

        condition = no_nans and filled_correctly
        _dynamic_test(
            self,
            condition,
            "All NaN values in 'Age' were correctly replaced with the mean of that column.",
            "The 'Age' column still has missing values or was not filled with the mean correctly."
        )


class TestCountNaN(unittest.TestCase):
    def test_age_nan_count_zero(self):
        """
        2. Check that the number of missing values in 'Age' is 0 and is printed.
        """
        import user_code

        # Check NaN count variable
        assert hasattr(user_code, "NaN"), "Variable 'NaN' not found."
        nan_value = user_code.NaN
        condition = isinstance(nan_value, (int, np.integer)) and nan_value == 0

        _dynamic_test(
            self,
            condition,
            "The variable storing the NaN count correctly equals 0.",
            "The variable with NaN count is incorrect or not 0."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. Check that the NaN count was printed to the output.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.NaN)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count was printed successfully.",
            "The output is missing. Use print(NaN) to display the NaN count."
        )


if __name__ == "__main__":
    unittest.main()



test_code.py

Este curso contém diversas funções úteis para um futuro analista de dados. Você aprenderá diferentes formas de extrair dados e até mesmo definir condições sobre eles. Após isso, estará familiarizado com os métodos de agrupamento de dados. Além disso, você aprenderá como pré-processar dados. Cada seção possui seu próprio conjunto de dados, tornando o curso envolvente.

Esta seção ensinará como exibir colunas específicas pelos seus títulos ou índices. Além disso, você se familiarizará com as formas de selecionar linhas por índices.

Aqui, você aprenderá como extrair dados que possuem condições específicas. Além disso, você aprenderá como combiná-las e até mesmo criar as suas próprias.

Nesta seção, você expandirá seu conhecimento sobre como definir diferentes condições de dados. Você aprenderá a verificar se seus dados estão em uma lista definida de valores ou entre dois valores. Você também aprenderá a encontrar os maiores e menores valores.

Esta seção é uma das mais fascinantes do curso. Aqui, você aprenderá como agrupar dados de diferentes maneiras. Isso ajudará no trabalho como analista de dados para obter informações sobre grupos de dados específicos.

Esta seção é uma das mais significativas para um analista de dados, pois, se os dados contiverem valores ausentes ou em formato incorreto, será impossível trabalhar com eles. Assim, você aprenderá como lidar com esses valores inadequados aqui.

Preenchendo os Valores Ausentes

Solução