Summary  
This chapter shows how to handle missing values by using a fill method to replace NaNs with a computed statistic (e.g., the median) and apply the change in place.  

General domain of usage  
Data cleaning

欠損値を削除するだけが対処方法ではありません。すべてのNaNを定義済みの値、例えば列の平均値やゼロで置き換えることも可能です。これは多くのケースで有用です。この方法については、<a href="https://codefinity.com/courses/v2/a849660e-ddfa-4033-80a6-94a1b7772e23" target="_blank"><svg width="1em" height="1em" viewBox="0 0 30 32" fill="none" xmlns="http://www.w3.org/2000/svg"><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M17.289 17.305v0c-1.754 1.754-4.597 1.754-6.351 0l-7.76-7.759c-1.755-1.755-1.755-4.601 0-6.356v0c1.753-1.753 4.595-1.756 6.351-0.005l6.208 6.187"></path><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M12.504 13.97v0c1.754-1.754 4.597-1.754 6.351 0l7.762 7.762c1.754 1.754 1.754 4.597 0 6.351v0c-1.754 1.754-4.597 1.754-6.351 0l-5.953-5.953"></path></svg> Learning Statistics with Python</a> のコースで学びます。

次に、列 `'Age'` の欠損値をこの列の中央値で埋める例を見てみましょう。

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_2', index_col = 0)
data['Age'].fillna(value=data['Age'].median(), inplace=True)
print(data['Age'].isna().sum())

**解説：**

```python
.fillna(value=data['Age'].median(), inplace=True)
```
- `value = data['Age'].median()` - 引数 `value` を使って、`.fillna()` メソッドに `NaN` 値をどのように処理するかを指定します。この場合、`.fillna()` メソッドを列 `'Age'` に適用し、すべての欠損値をその列の**中央値**で置き換えています。
- `inplace=True` - 変更を保存するために使用できる引数です。

import unittest
import pandas as pd
import io
import sys
import numpy as np


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestFillNaMean(unittest.TestCase):
    def test_age_filled_with_mean(self):
        """
        1. Check that all NaN values in the 'Age' column were replaced with the mean of that column.
        """
        import user_code

        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_2"
        df_ref = pd.read_csv(url, index_col=0)

        # Calculate reference mean (excluding NaN)
        mean_age = df_ref["Age"].mean()

        # User result
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data.copy()

        # Condition 1: no NaN values in Age
        no_nans = df_user["Age"].isna().sum() == 0

        # Condition 2: filled values match mean where they were previously NaN
        mask_nan = df_ref["Age"].isna()
        filled_correctly = True
        if mask_nan.any():
            filled_correctly = np.allclose(
                df_user.loc[mask_nan, "Age"], mean_age, rtol=1e-7, atol=1e-9
            )

        condition = no_nans and filled_correctly
        _dynamic_test(
            self,
            condition,
            "All NaN values in 'Age' were correctly replaced with the mean of that column.",
            "The 'Age' column still has missing values or was not filled with the mean correctly."
        )


class TestCountNaN(unittest.TestCase):
    def test_age_nan_count_zero(self):
        """
        2. Check that the number of missing values in 'Age' is 0 and is printed.
        """
        import user_code

        # Check NaN count variable
        assert hasattr(user_code, "NaN"), "Variable 'NaN' not found."
        nan_value = user_code.NaN
        condition = isinstance(nan_value, (int, np.integer)) and nan_value == 0

        _dynamic_test(
            self,
            condition,
            "The variable storing the NaN count correctly equals 0.",
            "The variable with NaN count is incorrect or not 0."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. Check that the NaN count was printed to the output.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.NaN)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count was printed successfully.",
            "The output is missing. Use print(NaN) to display the NaN count."
        )


if __name__ == "__main__":
    unittest.main()



test_code.py

このコースには、将来のデータアナリストにとって有用な多くの関数が含まれています。さまざまなデータ抽出方法や条件設定について学びます。その後、データのグループ化手法に精通できます。また、データの前処理方法も学びます。各セクションには独自のデータセットが用意されているため、コースは魅力的な内容となっています。

このセクションでは、タイトルやインデックスによって特定の列を出力する方法を学びます。また、インデックスによって行を選択する方法についても理解を深めます。

ここでは、特定の条件を持つデータを抽出する方法を学びます。また、それらを組み合わせる方法や独自の条件を作成する方法も学びます。

このセクションでは、さまざまなデータ条件の設定に関する知識を拡張します。データが定義された値のリスト内にあるか、2つの値の間にあるかを確認する方法を学びます。また、最大値と最小値を見つける方法についても学びます。

このセクションは、本コースの中でも特に興味深い内容の一つです。ここでは、データをさまざまな方法でグループ化する方法を学びます。特定のデータグループに関する情報を見つけるために、データアナリストとして役立つ知識を身につけることができます。

このセクションはデータアナリストにとって最も重要なものの一つです。なぜなら、データに不適切な形式の欠損値が含まれている場合、作業が不可能になるためです。ここでは、そのような不適切な値への対処方法を学びます。

欠損値の補完

解答