Summary
This chapter explains how to remove rows containing NaN values from a Pandas DataFrame using the dropna method and its parameters (such as inplace) to clean missing data.

General domain of usage
Data cleaning in data analysis

Watch this video to see how you can delete missing values in a pandas DataFrame using the `.dropna()` method. You'll learn how to remove rows with `NaN` values, see the effect on your dataset, and understand how `inplace=True` changes your DataFrame directly. The video walks through a real dataset, demonstrates the code, and shows how to confirm that all missing values are gone after using `.dropna()`. You'll also see tips for checking the number of missing values before and after, so you can be confident your data is clean and ready for analysis.

Vous avez déjà vu une façon de gérer les valeurs NaN, mais réfléchissons à ce que nous pouvons faire avec les autres. Regardez à nouveau le nombre de valeurs aberrantes dans chaque colonne :

Dans le chapitre précédent, vous avez obtenu le résultat :

|||
|---|---|
|PassengerId|0|
|Survived|0|
|Pclass|0|
|Name|0|
|Sex|0|
|Age|86|
|SibSp|0|
|Parch|0|
|Ticket|0|
|Fare|1|
|Embarked|0|


La méthode la plus simple consiste à supprimer toutes les lignes contenant des valeurs manquantes. Par exemple, `86` lignes avec des âges sont manquantes, ainsi qu'`1` ligne dans la colonne `'Fare'`. Voyons comment les supprimer. Avec pandas, cela peut se faire à l'aide d'une méthode simple, similaire à celle du chapitre précédent, appelée` .dropna()`: 
```python
data.dropna(inplace=True)
```

Ici, vous pouvez utiliser `inplace=True` pour enregistrer toutes les modifications. À propos de cette fonction : si une ligne dans la colonne `'Age'` contient une valeur NaN, cette méthode supprimera toutes les valeurs de la même ligne. Toute la ligne sera supprimée si au moins une valeur de la ligne est manquante.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDropna(unittest.TestCase):
    def test_no_missing_values(self):
        """
        1. After dropping NaN values, DataFrame should contain no missing values.
        """
        import user_code

        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        condition = df_user.isna().sum().sum() == 0
        _dynamic_test(
            self,
            condition,
            "All missing values were successfully removed from the DataFrame.",
            "The DataFrame still contains NaN values. Use data.dropna(inplace=True)."
        )


class TestCountNaN(unittest.TestCase):
    def test_nan_count_series(self):
        """
        2. The Series with NaN counts should contain all zeros.
        """
        import user_code
        assert hasattr(user_code, "Nan"), "Variable 'Nan' not found."

        nan_series = user_code.Nan
        condition = isinstance(nan_series, pd.Series) and nan_series.sum() == 0
        _dynamic_test(
            self,
            condition,
            "The Series with NaN counts contains only zeros â no missing values remain.",
            "The NaN count is not zero for all columns. Check your dropna() operation."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. The output of the NaN count should be printed.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count is printed correctly.",
            "No output detected. Ensure you print the NaN count Series."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Ce cours contient de nombreuses fonctions utiles pour un futur analyste de données. Vous apprendrez différentes méthodes d'extraction de données et pourrez même y appliquer des conditions. Ensuite, vous vous familiariserez avec les méthodes de regroupement des données. De plus, vous découvrirez comment prétraiter les données. Chaque section dispose de son propre ensemble de données, rendant le cours captivant.

Cette section vous apprendra comment afficher des colonnes spécifiques par leurs titres ou indices. Vous vous familiariserez également avec les différentes méthodes de sélection des lignes par indices.

Ici, vous apprendrez à extraire des données répondant à des conditions spécifiques. Vous apprendrez également à les combiner et même à créer vos propres conditions.

Dans cette section, vous approfondirez vos connaissances sur la définition de différentes conditions de données. Vous apprendrez à vérifier si vos données figurent dans une liste de valeurs définie ou se situent entre deux valeurs. Vous apprendrez également à identifier les valeurs les plus grandes et les plus petites.

Cette section est l'une des plus fascinantes du cours. Ici, vous apprendrez à regrouper des données de différentes manières. Cela vous aidera à travailler en tant qu'analyste de données pour obtenir des informations sur des groupes de données spécifiques.

Cette section est l'une des plus importantes pour un analyste de données, car si les données contiennent des valeurs manquantes ou sont dans un format incorrect, il sera impossible de les exploiter. Ainsi, vous apprendrez ici comment traiter de telles valeurs inappropriées.

Comment Supprimer Uniquement les Valeurs NaN ?

Solution


PassengerId	0
Survived	0
Pclass	0
Name	0
Sex	0
Age	86
SibSp	0
Parch	0
Ticket	0
Fare	1
Embarked	0