Summary
This chapter explains how to identify and count missing (NaN or None) entries in a DataFrame by using boolean-returning methods (`isna()`/`isnull()`) to flag null values.

General domain of usage
Data cleaning

DataFrame にはしばしば **欠損値**（`None` または `NaN` で表される）が含まれます。DataFrame を扱う際には、これらの欠損値を特定することが重要です。なぜなら、欠損値は計算を歪め、分析結果の精度を損ない、結果の信頼性を低下させる可能性があるためです。

欠損値への対応は、**データの整合性**を確保し、**統計解析**や**機械学習**などのタスクのパフォーマンス向上につながります。この目的のために、pandas には専用のメソッドが用意されています。

In this video, you will explore how to identify missing values in pandas DataFrames using the `isna()` and `isnull()` methods. You will see practical demonstrations of both methods and learn why handling missing data is crucial for accurate data analysis and successful machine learning. By the end, you will understand how missing values can affect your results and how pandas helps you detect them efficiently.

最初に紹介するのは `isna()` です。このメソッドは **ブール型の DataFrame** を返します。この場合、`True` の値は DataFrame 内に欠損値が存在することを示し、`False` の値は値が存在することを示します。

例として、このメソッドを `animals` DataFrame に適用します。`isna()` メソッドは `DataFrame`/`True` の値を持つ `False` を返し、各 `True` は `animals` DataFrame 内の欠損値を示します。


import pandas as pd
import numpy as np

animals_data = {'animal': [np.nan, 'Dog', np.nan, 'Cat','Parrot', None],
'name': ['Dolly', None, 'Erin', 'Kelly', None, 'Odie']}
animals = pd.DataFrame(animals_data)
# Find missing values
missing_values = animals.isna()
print(missing_values)

2つ目の方法は `isnull()` です。これは前述の方法と全く同じ動作をし、両者に違いはありません。

import unittest
import importlib
import pandas as pd


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_missing_values_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'missing_values'),
            "The `missing_values` variable is declared.",
            "Expected `missing_values` to be declared."
        )

    def test_missing_values_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.missing_values, pd.DataFrame)
            failure_message = f"Expected `missing_values` to be a `DataFrame`, but got `{type(user_code.missing_values).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `missing_values` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `missing_values` is a `DataFrame`.",
            failure_message
        )

    def test_missing_values_has_correct_values(self):
        import user_code
        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine_with_nan.csv')
        expected_df = wine_data.isnull()

        variable = 'missing_values'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` correctly identifies missing values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandasは、データ分析のための非常にユーザーフレンドリーなライブラリです。また、DataFrameやSeriesのようなデータ構造を使用して大規模なデータセットを扱うように設計されています。これにより、データサイエンスにとって不可欠なツールとなっています。本ガイドでは、相関、最頻値、中央値、最大値および最小値の算出方法など、さまざまな統計関数について学びます。また、欠損値の処理や特定の値の操作、削除方法についても習得します。

pandasライブラリの基本を学びます。SeriesおよびDataFrameの作成と操作、その構造の探索、基本的なデータ操作の実践に自信を持つことができます。

CSVファイルおよびTXTファイルからデータを読み込み、管理する方法を習得します。pandasツールを使用してデータセットをインポートし、さらなる分析のために準備する実践的な経験を得られます。

データを効果的に探索、クリーンアップ、要約する方法を学びます。欠損値の処理方法、インサイトの抽出、pandasを用いた基本的な統計操作について理解します。

欠損値の検出

解答