Summary  
This chapter shows how to compute the number of missing values in each column of a DataFrame by chaining the isna()/isnull() methods with sum().  

General domain of usage  
Data analysis

Слід зазначити, що перевіряти кожне значення в наборі даних на наявність NaN незручно. Зручніше побачити кількість пропущених значень, щоб зробити висновки щодо стовпців, у яких є NaN.
Як ви пам'ятаєте, існують дві функції для перевірки пропущених значень. Щоб підрахувати суму, достатньо використати функцію `.sum()`. Отже, загалом маємо 2 варіанти для виведення кількості NaN у кожному стовпці:

```python
data.isna().sum()
# Or
data.isnull().sum()
```

Нічого складного. Переходимо до завдання.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def series_equal(s1, s2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ Series Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ ÑÐ¾ÑÑÑÐ²Ð°Ð½Ð½Ñ ÑÐ½Ð´ÐµÐºÑÑ."""
    try:
        s1_sorted = s1.sort_index()
        s2_sorted = s2.sort_index()
        return s1_sorted.equals(s2_sorted)
    except Exception:
        return False


class TestMissingValues(unittest.TestCase):
    def test_missing_values_count(self):
        """
        1. Calculate the number of missing values for the dataset.
        """
        import user_code

        # reference
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_0.csv"
        df = pd.read_csv(url)
        ref = df.isna().sum()

        # Ð·Ð½Ð°Ð¹Ð´ÐµÐ¼Ð¾ Series ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°ÑÐ°
        user_series = None
        for var_name, var_val in user_code.__dict__.items():
            if isinstance(var_val, pd.Series) and var_val.shape == ref.shape:
                if series_equal(var_val, ref):
                    user_series = var_val
                    break

        assert user_series is not None, "No Series with correct missing values count found."

        _dynamic_test(
            self,
            True,
            "The number of missing values for each column is calculated correctly.",
            "The missing values count is incorrect. Use data.isna().sum() or similar."
        )


class TestOutput(unittest.TestCase):
    def test_print_output(self):
        """
        2. Output the result of missing values calculation.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output

        # find printed Series
        if hasattr(user_code, "Nan"):
            print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The missing values count is printed correctly.",
            "The output is missing. Use print(...) to display the result."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Цей курс містить багато корисних функцій для майбутнього аналітика даних. Ви ознайомитеся з різними способами вилучення даних та навіть зможете встановлювати умови для них. Після цього ви будете знайомі з методами групування даних. Також ви дізнаєтеся, як здійснювати попередню обробку даних. Кожен розділ має власний набір даних, що робить курс захопливим.

У цьому розділі ви дізнаєтеся, як виводити певні стовпці за їхніми назвами або індексами. Також ви ознайомитеся зі способами вибору рядків за індексами.

Тут ви дізнаєтеся, як витягувати дані, що відповідають певним умовам. Також ви навчитеся комбінувати ці умови та навіть створювати власні.

У цьому розділі ви розширите свої знання щодо встановлення різних умов для даних. Ви дізнаєтеся, як перевірити, чи знаходяться ваші дані у визначеному списку значень або між двома значеннями. Ви також навчитеся знаходити найбільші та найменші значення.

Цей розділ є одним із найцікавіших у курсі. Тут ви дізнаєтеся, як групувати дані різними способами. Це допоможе вам працювати як аналітик даних для отримання інформації про конкретні групи даних.

Цей розділ є одним із найважливіших для аналітика даних, оскільки якщо дані містять відсутні значення або неправильний формат, працювати з ними буде неможливо. Тому тут ви дізнаєтеся, як працювати з такими невідповідними значеннями.

Calculating the Number of Missing Values

Calculating the Number of Missing Values

Рішення