Summary
This chapter covers detecting missing or null values in data structures by using methods that produce boolean masks indicating their presence.

General domain of usage
Data preprocessing for data analysis and machine learning

DataFrame にはしばしば **欠損値**（`None` または `NaN` で表現）が含まれる。DataFrame を扱う際には、これらの欠損値を特定することが重要であり、計算の歪み、不正確な分析、結果の信頼性低下につながる可能性がある。

欠損値への対応は、**データの整合性**を確保し、**統計解析**や**機械学習**などのタスクのパフォーマンス向上に寄与する。この目的のために、pandas には専用のメソッドが用意されている。

最初に紹介するのは `isna()` であり、**ブール値の DataFrame** を返す。この場合、`True` は DataFrame 内の欠損値を示し、`False` は値が存在することを示す。

例として、このメソッドを `animals` DataFrame に適用する。`isna()` メソッドは `DataFrame`/`True` の値を持つ `False` を返し、各 `True` が `animals` DataFrame 内の欠損値を示す。


import pandas as pd
import numpy as np

animals_data = {'animal': [np.nan, 'Dog', np.nan, 'Cat','Parrot', None],
'name': ['Dolly', None, 'Erin', 'Kelly', None, 'Odie']}
animals = pd.DataFrame(animals_data)
# Find missing values
missing_values = animals.isna()
print(missing_values)

2番目のメソッドは `isnull()` です。これは前述のメソッドと全く同じ動作をし、両者に明確な違いはありません。

import unittest
import importlib
import pandas as pd


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_missing_values_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'missing_values'),
            "The `missing_values` variable is declared.",
            "Expected `missing_values` to be declared."
        )

    def test_missing_values_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.missing_values, pd.DataFrame)
            failure_message = f"Expected `missing_values` to be a `DataFrame`, but got `{type(user_code.missing_values).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `missing_values` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `missing_values` is a `DataFrame`.",
            failure_message
        )

    def test_missing_values_has_correct_values(self):
        import user_code
        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine_with_nan.csv')
        expected_df = wine_data.isnull()

        variable = 'missing_values'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` correctly identifies missing values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

pandasを使用した実践的なデータ操作スキルの習得。SeriesおよびDataFrameの操作、データセットの読み込みと探索、データの選択とフィルタリング、集約処理、テーブルの再構成、複数のDataFrameの結合、分析のためのデータ準備。

欠損値の検出

解答