Summary  
This chapter demonstrates how to use DataFrame methods to count non-null entries and sum numeric columns, as well as how to combine isna() with sum() to identify missing values.

General domain of usage  
Data analysis

This video walks you through using the `count()` and `sum()` methods in pandas. You'll see practical demonstrations for counting non-null cells in each column, summing values in numeric columns, and identifying missing values using `isna().sum()`. By the end, you'll understand how to confidently apply these essential pandas techniques in your data analysis projects.

`pandas` пропонує метод `count()`, який підраховує всі **ненульові** комірки (ані `None`, ані `NaN`) для кожного стовпця.
```python
df = pd.read_csv(file.csv)
number_of_cells = df.count()
```

Щоб знайти **кількість** ненульових значень у певному стовпці, використовуйте наступний синтаксис:
```python
df = pd.read_csv(file.csv)
number_of_cells = df['name of the column'].count()
```

`pandas` також надає метод `sum()`. Цей метод обчислює суму значень для кожного стовпця, але працює лише з **числовими** або **булевими** стовпцями.
```python
df = pd.read_csv(file.csv)
total = df.sum()
```

Оскільки метод `isna()` повертає **булевий DataFrame**, можна використати наступний синтаксис для підрахунку кількості пропущених значень у кожному зі стовпців:

```python
missing_values_count = df.isna().sum()
```

Щоб знайти суму значень у певному стовпці, використовуйте наступний синтаксис:
```python
df = pd.read_csv(file.csv)
total = df['name of the column'].sum()
```

import unittest
import importlib
import pandas as pd


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_number_of_cells_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'number_of_cells'),
            "The `number_of_cells` variable is declared.",
            "Expected `number_of_cells` to be declared."
        )

    def test_number_of_cells_is_correct(self):
        import user_code
        cars_data = {'model': [None, 'audi A6', 'audi A4', None, 'audi A1'],
                     'year': [2017, 2016, 2017, None, 2016],
                     'fueltype': [None, 'diesel', 'diesel', 'petrol', 'petrol'],
                     'price': [12500, 16500, 16800, 17300, 16500]}
        audi_cars = pd.DataFrame(cars_data)
        expected_value = audi_cars.count()

        try:
            condition = user_code.number_of_cells.equals(expected_value)
            failure_message = f"Expected `number_of_cells` to be `{expected_value}`, but got `{user_code.number_of_cells}`."
        except AttributeError:
            condition = False
            if not getattr(user_code, 'number_of_cells', None):
                failure_message = "The `number_of_cells` variable is not declared."
            else:
                failure_message = "`number_of_cells` is not a `Series`."

        _dynamic_test(
            self,
            condition,
            f"`number_of_cells` contains the correct values.",
            failure_message
        )

    def test_total_price_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'total_price'),
            "The `total_price` variable is declared.",
            "Expected `total_price` to be declared."
        )

    def test_total_price_is_correct(self):
        import user_code
        cars_data = {'model': [None, 'audi A6', 'audi A4', None, 'audi A1'],
                     'year': [2017, 2016, 2017, None, 2016],
                     'fueltype': [None, 'diesel', 'diesel', 'petrol', 'petrol'],
                     'price': [12500, 16500, 16800, 17300, 16500]}
        audi_cars = pd.DataFrame(cars_data)
        expected_value = audi_cars['price'].sum()

        try:
            condition = user_code.total_price == expected_value
            failure_message = f"Expected `total_price` to be `{expected_value}`, but got `{user_code.total_price}`."
        except AttributeError:
            condition = False
            failure_message = "The `total_price` variable is not declared."

        _dynamic_test(
            self,
            condition,
            f"`total_price` is correct.",
            failure_message
        )

    def test_null_count_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'null_count'),
            "The `null_count` variable is declared.",
            "Expected `null_count` to be declared."
        )

    def test_null_count_is_series(self):
        import user_code

        try:
            condition = isinstance(user_code.null_count, pd.Series)
            failure_message = f"Expected `null_count` to be a `Series`, but got `{type(user_code.null_count).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `null_count` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `null_count` is a `Series`.",
            failure_message
        )

    def test_null_count_is_correct(self):
        import user_code
        cars_data = {'model': [None, 'audi A6', 'audi A4', None, 'audi A1'],
                     'year': [2017, 2016, 2017, None, 2016],
                     'fueltype': [None, 'diesel', 'diesel', 'petrol', 'petrol'],
                     'price': [12500, 16500, 16800, 17300, 16500]}
        audi_cars = pd.DataFrame(cars_data)
        expected_value = audi_cars.isna().sum()

        variable = 'null_count'
        actual_value = getattr(user_code, variable, None)
        if actual_value is None:
            condition = False
            failure_message = f"The `{variable}` variable is not declared."
        elif isinstance(actual_value, pd.Series):
            condition = actual_value.equals(expected_value)
            if actual_value.empty:
                failure_message = f"`{variable}` is empty."
            else:
                failure_message = f"Expected `{variable}` to contain `{expected_value.values}`, but got `{actual_value.values}`."
        else:
            condition = False
            failure_message = f"`{variable}` is not a `Series`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` contains the correct values.",
            failure_message
        )

        _dynamic_test(
            self,
            condition,
            f"`null_count` contains the correct values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas — це надзвичайно зручна бібліотека для аналізу даних. Вона також розроблена для роботи з великими наборами даних, використовуючи такі структури даних, як DataFrame і Series. Це робить її незамінним інструментом для Data Science. У цьому посібнику ви ознайомитеся з різноманітними статистичними функціями, зокрема з тим, як знаходити кореляції, моди, медіани, а також максимальні та мінімальні значення у наборі даних. Ви також дізнаєтеся, як обробляти пропущені значення та змінювати окремі значення, а також як їх видаляти.

Знайомство з основами бібліотеки pandas. Створення та маніпулювання об'єктами Series і DataFrame, дослідження їхньої структури, формування впевненості у виконанні базових операцій з даними.

Опанування навичок завантаження та обробки даних з файлів CSV і TXT. Набуття практичного досвіду імпортування наборів даних і підготовки їх до подальшого аналізу за допомогою інструментів pandas.

Ознайомлення з методами дослідження, очищення та узагальнення даних. Розуміння обробки пропущених значень, отримання інсайтів і виконання базових статистичних операцій за допомогою pandas.

Sum() та Count()

Рішення