Summary
This chapter explains how to detect null or missing values in tabular data structures by using methods that return boolean masks indicating where entries are absent.

General domain of usage
data analysis

DataFrame часто містять **відсутні значення**, які позначаються як `None` або `NaN`. Під час роботи з DataFrame важливо виявляти ці відсутні значення, оскільки вони можуть спотворювати обчислення, призводити до неточних аналізів і знижувати достовірність результатів.

Вирішення цієї проблеми забезпечує **цілісність даних** і підвищує ефективність завдань, таких як **статистичний аналіз** та **машинне навчання**. Для цього pandas пропонує спеціальні методи.

Перший із них — це `isna()`, який повертає **булевий DataFrame**. У цьому контексті значення `True` вказує на відсутнє значення у DataFrame, а значення `False` означає, що значення присутнє.

Для наочності застосуйте цей метод до DataFrame `animals`. Метод `isna()` повертає `DataFrame` зі значеннями `True`/`False`, де кожне `True` вказує на відсутнє значення у DataFrame `animals`.


import pandas as pd
import numpy as np

animals_data = {'animal': [np.nan, 'Dog', np.nan, 'Cat','Parrot', None],
'name': ['Dolly', None, 'Erin', 'Kelly', None, 'Odie']}
animals = pd.DataFrame(animals_data)
# Find missing values
missing_values = animals.isna()
print(missing_values)

Другий метод — це `isnull()`. Він працює ідентично до попереднього, без помітної різниці між ними.

import unittest
import importlib
import pandas as pd


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_missing_values_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'missing_values'),
            "The `missing_values` variable is declared.",
            "Expected `missing_values` to be declared."
        )

    def test_missing_values_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.missing_values, pd.DataFrame)
            failure_message = f"Expected `missing_values` to be a `DataFrame`, but got `{type(user_code.missing_values).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `missing_values` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `missing_values` is a `DataFrame`.",
            failure_message
        )

    def test_missing_values_has_correct_values(self):
        import user_code
        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine_with_nan.csv')
        expected_df = wine_data.isnull()

        variable = 'missing_values'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` correctly identifies missing values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas — це надзвичайно зручна бібліотека для аналізу даних. Вона також розроблена для роботи з великими наборами даних, використовуючи такі структури даних, як DataFrame і Series. Це робить її незамінним інструментом для Data Science. У цьому посібнику ви ознайомитеся з різноманітними статистичними функціями, зокрема з тим, як знаходити кореляції, моди, медіани, а також максимальні та мінімальні значення в наборі даних. Ви також дізнаєтеся, як обробляти пропущені значення та змінювати окремі значення, а також як їх видаляти.

Занурення в основи бібліотеки pandas. Створення та маніпулювання Series і DataFrame, дослідження їхньої структури, формування впевненості у виконанні базових операцій з даними.

Опанування навичок завантаження та обробки даних з файлів CSV і TXT. Практичний досвід імпортування наборів даних і підготовки їх до подальшого аналізу за допомогою інструментів pandas.

Ознайомлення з методами дослідження, очищення та узагальнення даних. Розуміння обробки пропущених значень, отримання інсайтів та виконання базових статистичних операцій за допомогою pandas.

Пошук Нульових Значень

Рішення