Summary  
This chapter shows how to compute the number of missing values in each column of a DataFrame by chaining the isna()/isnull() methods with sum().  

General domain of usage  
Data analysis

各データセットの値ごとにNaNを確認するのは効率的ではありません。欠損値の数を確認することで、どの列にNaNが含まれているかを把握する方が便利です。
ご存知の通り、欠損値を確認するための関数が2つあります。合計を計算するには、`.sum()`関数を使用します。したがって、各列ごとのNaNの数を出力するには、一般的に次の2つの方法があります：

```python
data.isna().sum()
# Or
data.isnull().sum()
```

特に難しいことはありません。それでは、次の課題に進みましょう。

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def series_equal(s1, s2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ Series Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ ÑÐ¾ÑÑÑÐ²Ð°Ð½Ð½Ñ ÑÐ½Ð´ÐµÐºÑÑ."""
    try:
        s1_sorted = s1.sort_index()
        s2_sorted = s2.sort_index()
        return s1_sorted.equals(s2_sorted)
    except Exception:
        return False


class TestMissingValues(unittest.TestCase):
    def test_missing_values_count(self):
        """
        1. Calculate the number of missing values for the dataset.
        """
        import user_code

        # reference
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_0.csv"
        df = pd.read_csv(url)
        ref = df.isna().sum()

        # Ð·Ð½Ð°Ð¹Ð´ÐµÐ¼Ð¾ Series ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°ÑÐ°
        user_series = None
        for var_name, var_val in user_code.__dict__.items():
            if isinstance(var_val, pd.Series) and var_val.shape == ref.shape:
                if series_equal(var_val, ref):
                    user_series = var_val
                    break

        assert user_series is not None, "No Series with correct missing values count found."

        _dynamic_test(
            self,
            True,
            "The number of missing values for each column is calculated correctly.",
            "The missing values count is incorrect. Use data.isna().sum() or similar."
        )


class TestOutput(unittest.TestCase):
    def test_print_output(self):
        """
        2. Output the result of missing values calculation.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output

        # find printed Series
        if hasattr(user_code, "Nan"):
            print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The missing values count is printed correctly.",
            "The output is missing. Use print(...) to display the result."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

このコースには、将来のデータアナリストにとって有用な多くの関数が含まれています。さまざまなデータ抽出方法や条件設定について学びます。その後、データのグループ化手法に精通できます。また、データの前処理方法も学びます。各セクションには独自のデータセットが用意されているため、コースは魅力的な内容となっています。

このセクションでは、タイトルやインデックスによって特定の列を出力する方法を学びます。また、インデックスによって行を選択する方法についても理解を深めます。

ここでは、特定の条件を持つデータを抽出する方法を学びます。また、それらを組み合わせる方法や独自の条件を作成する方法も学びます。

このセクションでは、さまざまなデータ条件の設定に関する知識を拡張します。データが定義された値のリスト内にあるか、2つの値の間にあるかを確認する方法を学びます。また、最大値と最小値を見つける方法についても学びます。

このセクションは、本コースの中でも特に興味深い内容の一つです。ここでは、データをさまざまな方法でグループ化する方法を学びます。特定のデータグループに関する情報を見つけるために、データアナリストとして役立つ知識を身につけることができます。

このセクションはデータアナリストにとって最も重要なものの一つです。なぜなら、データに不適切な形式の欠損値が含まれている場合、作業が不可能になるためです。ここでは、そのような不適切な値への対処方法を学びます。

欠損値の数の計算

解答