Summary
This chapter explains how to remove rows containing NaN values from a Pandas DataFrame using the dropna method and its parameters (such as inplace) to clean missing data.

General domain of usage
Data cleaning in data analysis

Watch this video to see how you can delete missing values in a pandas DataFrame using the `.dropna()` method. You'll learn how to remove rows with `NaN` values, see the effect on your dataset, and understand how `inplace=True` changes your DataFrame directly. The video walks through a real dataset, demonstrates the code, and shows how to confirm that all missing values are gone after using `.dropna()`. You'll also see tips for checking the number of missing values before and after, so you can be confident your data is clean and ready for analysis.

Ви вже розглянули один зі способів обробки значень NaN, але давайте подумаємо, що ще можна зробити з іншими. Подивіться ще раз на кількість пропусків у кожному стовпці:

У попередньому розділі ви отримали результат:

|||
|---|---|
|PassengerId|0|
|Survived|0|
|Pclass|0|
|Name|0|
|Sex|0|
|Age|86|
|SibSp|0|
|Parch|0|
|Ticket|0|
|Fare|1|
|Embarked|0|


Найпростіший спосіб — видалити всі рядки, які містять пропущені значення. Наприклад, відсутні значення віку у `86` рядках, а також `1` пропущене значення у стовпці `'Fare'`. Давайте розглянемо, як їх можна видалити. У pandas це можна зробити за допомогою простого методу, схожого на той, що використовувався у попередньому розділі, — ` .dropna()`:```
```python
data.dropna(inplace=True)
```Тут можна використати `inplace=True`, щоб зберегти всі зміни. Розглянемо роботу цієї функції. Якщо у рядку стовпця `'Age'` є значення NaN, цей метод видалить усі значення у цьому ж рядку. Весь рядок буде видалено, якщо хоча б одне значення у ньому відсутнє.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDropna(unittest.TestCase):
    def test_no_missing_values(self):
        """
        1. After dropping NaN values, DataFrame should contain no missing values.
        """
        import user_code

        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        condition = df_user.isna().sum().sum() == 0
        _dynamic_test(
            self,
            condition,
            "All missing values were successfully removed from the DataFrame.",
            "The DataFrame still contains NaN values. Use data.dropna(inplace=True)."
        )


class TestCountNaN(unittest.TestCase):
    def test_nan_count_series(self):
        """
        2. The Series with NaN counts should contain all zeros.
        """
        import user_code
        assert hasattr(user_code, "Nan"), "Variable 'Nan' not found."

        nan_series = user_code.Nan
        condition = isinstance(nan_series, pd.Series) and nan_series.sum() == 0
        _dynamic_test(
            self,
            condition,
            "The Series with NaN counts contains only zeros â no missing values remain.",
            "The NaN count is not zero for all columns. Check your dropna() operation."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. The output of the NaN count should be printed.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count is printed correctly.",
            "No output detected. Ensure you print the NaN count Series."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Цей курс містить багато корисних функцій для майбутнього аналітика даних. Ви ознайомитеся з різними способами вилучення даних та навіть зможете встановлювати умови для них. Після цього ви будете знайомі з методами групування даних. Також ви дізнаєтеся, як здійснювати попередню обробку даних. Кожен розділ має власний набір даних, що робить курс захопливим.

У цьому розділі ви дізнаєтеся, як виводити певні стовпці за їхніми назвами або індексами. Також ви ознайомитеся зі способами вибору рядків за індексами.

Тут ви дізнаєтеся, як витягувати дані, що відповідають певним умовам. Також ви навчитеся комбінувати ці умови та навіть створювати власні.

У цьому розділі ви розширите свої знання щодо встановлення різних умов для даних. Ви дізнаєтеся, як перевірити, чи знаходяться ваші дані у визначеному списку значень або між двома значеннями. Ви також навчитеся знаходити найбільші та найменші значення.

Цей розділ є одним із найцікавіших у курсі. Тут ви дізнаєтеся, як групувати дані різними способами. Це допоможе вам працювати як аналітик даних для отримання інформації про конкретні групи даних.

Цей розділ є одним із найважливіших для аналітика даних, оскільки якщо дані містять відсутні значення або неправильний формат, працювати з ними буде неможливо. Тому тут ви дізнаєтеся, як працювати з такими невідповідними значеннями.

Як видалити лише значення NaN?

Рішення


PassengerId	0
Survived	0
Pclass	0
Name	0
Sex	0
Age	86
SibSp	0
Parch	0
Ticket	0
Fare	1
Embarked	0