Summary  
This chapter demonstrates how to use DataFrame methods to count non-null entries and sum numeric columns, as well as how to combine isna() with sum() to identify missing values.

General domain of usage  
Data analysis

This video walks you through using the `count()` and `sum()` methods in pandas. You'll see practical demonstrations for counting non-null cells in each column, summing values in numeric columns, and identifying missing values using `isna().sum()`. By the end, you'll understand how to confidently apply these essential pandas techniques in your data analysis projects.

`pandas` には `count()` メソッドがあり、各列の **null でない** セル（`None` でも `NaN` でもない）をカウント。
```python
df = pd.read_csv(file.csv)
number_of_cells = df.count()
```

特定の列における null でない値の **件数** を取得するには、次の構文を使用。
```python
df = pd.read_csv(file.csv)
number_of_cells = df['name of the column'].count()
```

`pandas` には `sum()` メソッドも用意されており、このメソッドは各列の値の合計を計算。ただし、**数値型** または **ブール型** の列でのみ動作。
```python
df = pd.read_csv(file.csv)
total = df.sum()
```

`isna()` メソッドは **ブール型の DataFrame** を返すため、次の構文で各列の欠損値の数を計算可能。

```python
missing_values_count = df.isna().sum()
```

特定の列の値の合計を求めるには、次の構文を使用。
```python
df = pd.read_csv(file.csv)
total = df['name of the column'].sum()
```

import unittest
import importlib
import pandas as pd


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_number_of_cells_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'number_of_cells'),
            "The `number_of_cells` variable is declared.",
            "Expected `number_of_cells` to be declared."
        )

    def test_number_of_cells_is_correct(self):
        import user_code
        cars_data = {'model': [None, 'audi A6', 'audi A4', None, 'audi A1'],
                     'year': [2017, 2016, 2017, None, 2016],
                     'fueltype': [None, 'diesel', 'diesel', 'petrol', 'petrol'],
                     'price': [12500, 16500, 16800, 17300, 16500]}
        audi_cars = pd.DataFrame(cars_data)
        expected_value = audi_cars.count()

        try:
            condition = user_code.number_of_cells.equals(expected_value)
            failure_message = f"Expected `number_of_cells` to be `{expected_value}`, but got `{user_code.number_of_cells}`."
        except AttributeError:
            condition = False
            if not getattr(user_code, 'number_of_cells', None):
                failure_message = "The `number_of_cells` variable is not declared."
            else:
                failure_message = "`number_of_cells` is not a `Series`."

        _dynamic_test(
            self,
            condition,
            f"`number_of_cells` contains the correct values.",
            failure_message
        )

    def test_total_price_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'total_price'),
            "The `total_price` variable is declared.",
            "Expected `total_price` to be declared."
        )

    def test_total_price_is_correct(self):
        import user_code
        cars_data = {'model': [None, 'audi A6', 'audi A4', None, 'audi A1'],
                     'year': [2017, 2016, 2017, None, 2016],
                     'fueltype': [None, 'diesel', 'diesel', 'petrol', 'petrol'],
                     'price': [12500, 16500, 16800, 17300, 16500]}
        audi_cars = pd.DataFrame(cars_data)
        expected_value = audi_cars['price'].sum()

        try:
            condition = user_code.total_price == expected_value
            failure_message = f"Expected `total_price` to be `{expected_value}`, but got `{user_code.total_price}`."
        except AttributeError:
            condition = False
            failure_message = "The `total_price` variable is not declared."

        _dynamic_test(
            self,
            condition,
            f"`total_price` is correct.",
            failure_message
        )

    def test_null_count_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'null_count'),
            "The `null_count` variable is declared.",
            "Expected `null_count` to be declared."
        )

    def test_null_count_is_series(self):
        import user_code

        try:
            condition = isinstance(user_code.null_count, pd.Series)
            failure_message = f"Expected `null_count` to be a `Series`, but got `{type(user_code.null_count).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `null_count` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `null_count` is a `Series`.",
            failure_message
        )

    def test_null_count_is_correct(self):
        import user_code
        cars_data = {'model': [None, 'audi A6', 'audi A4', None, 'audi A1'],
                     'year': [2017, 2016, 2017, None, 2016],
                     'fueltype': [None, 'diesel', 'diesel', 'petrol', 'petrol'],
                     'price': [12500, 16500, 16800, 17300, 16500]}
        audi_cars = pd.DataFrame(cars_data)
        expected_value = audi_cars.isna().sum()

        variable = 'null_count'
        actual_value = getattr(user_code, variable, None)
        if actual_value is None:
            condition = False
            failure_message = f"The `{variable}` variable is not declared."
        elif isinstance(actual_value, pd.Series):
            condition = actual_value.equals(expected_value)
            if actual_value.empty:
                failure_message = f"`{variable}` is empty."
            else:
                failure_message = f"Expected `{variable}` to contain `{expected_value.values}`, but got `{actual_value.values}`."
        else:
            condition = False
            failure_message = f"`{variable}` is not a `Series`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` contains the correct values.",
            failure_message
        )

        _dynamic_test(
            self,
            condition,
            f"`null_count` contains the correct values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandasは、データ分析のための非常にユーザーフレンドリーなライブラリです。また、DataFrameやSeriesのようなデータ構造を使用して大規模なデータセットを扱うように設計されています。これにより、データサイエンスにとって不可欠なツールとなっています。本ガイドでは、相関、最頻値、中央値、最大値および最小値の算出方法など、さまざまな統計関数について学びます。また、欠損値の処理や特定の値の操作、削除方法についても習得します。

pandasライブラリの基本を学びます。SeriesおよびDataFrameの作成と操作、その構造の探索、基本的なデータ操作の実践に自信を持つことができます。

CSVファイルおよびTXTファイルからデータを読み込み、管理する方法を習得します。pandasツールを使用してデータセットをインポートし、さらなる分析のために準備する実践的な経験を得られます。

データを効果的に探索、クリーンアップ、要約する方法を学びます。欠損値の処理方法、インサイトの抽出、pandasを用いた基本的な統計操作について理解します。

sum() と count()

解答