Summary  
This chapter explains how to remove rows that contain any NaN values from a dataset using the pandas DataFrame method `.dropna()` with `inplace=True`.  

General domain of usage  
Data preprocessing in data analysis

Olet hallinnut yhden tavan käsitellä NaN-arvoja, mutta pohditaanpa, mitä muita vaihtoehtoja on. Tarkastele vielä kerran poikkeavien arvojen määrää jokaisessa sarakkeessa:

Edellisessä luvussa sait seuraavan tuloksen:

|||
|---|---|
|PassengerId|0|
|Survived|0|
|Pclass|0|
|Name|0|
|Sex|0|
|Age|86|
|SibSp|0|
|Parch|0|
|Ticket|0|
|Fare|1|
|Embarked|0|


Yksinkertaisin tapa on poistaa kaikki rivit, jotka sisältävät puuttuvia arvoja. Esimerkiksi `86` riviä, joista puuttuu ikä, sekä `1` rivi sarakkeessa `'Fare'`. Selvitetään, miten nämä voidaan poistaa. Pandas-kirjastossa tämä onnistuu yhdellä yksinkertaisella metodilla, joka on samankaltainen kuin edellisessä luvussa käytetty, nimeltään ` .dropna()`:
```python
data.dropna(inplace=True)
```

Tässä voit käyttää `inplace=True` tallentaaksesi kaikki muutokset. Tarkastellaan funktiota. Jos rivillä sarakkeessa `'Age'` on NaN-arvo, tämä metodi poistaa kaikki arvot kyseiseltä riviltä. Koko rivi poistetaan, jos vähintään yksi arvo riviltä puuttuu.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDropna(unittest.TestCase):
    def test_no_missing_values(self):
        """
        1. After dropping NaN values, DataFrame should contain no missing values.
        """
        import user_code

        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        condition = df_user.isna().sum().sum() == 0
        _dynamic_test(
            self,
            condition,
            "All missing values were successfully removed from the DataFrame.",
            "The DataFrame still contains NaN values. Use data.dropna(inplace=True)."
        )


class TestCountNaN(unittest.TestCase):
    def test_nan_count_series(self):
        """
        2. The Series with NaN counts should contain all zeros.
        """
        import user_code
        assert hasattr(user_code, "Nan"), "Variable 'Nan' not found."

        nan_series = user_code.Nan
        condition = isinstance(nan_series, pd.Series) and nan_series.sum() == 0
        _dynamic_test(
            self,
            condition,
            "The Series with NaN counts contains only zeros â no missing values remain.",
            "The NaN count is not zero for all columns. Check your dropna() operation."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. The output of the NaN count should be printed.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count is printed correctly.",
            "No output detected. Ensure you print the NaN count Series."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Tämä kurssi sisältää runsaasti hyödyllisiä funktioita tulevalle data-analyytikolle. Opit erilaisia tapoja tietojen poimimiseen ja jopa ehtojen asettamiseen niille. Tämän jälkeen tulet tutuksi tietojen ryhmittelymenetelmien kanssa. Lisäksi opit, kuinka esikäsitellä tietoja. Jokaisella osiolla on oma tietoaineistonsa, joten kurssi on mukaansatempaava.

Tässä osiossa opit tuottamaan tiettyjä sarakkeita niiden nimien tai indeksien perusteella. Lisäksi tutustut tapoihin valita rivejä indeksien avulla.

Tässä opit, kuinka tietoja voidaan poimia tiettyjen ehtojen perusteella. Lisäksi opit yhdistämään ehtoja ja luomaan omia ehtoja.

Tässä osiossa syvennät osaamistasi erilaisten datan ehtojen asettamisessa. Opit tarkistamaan, onko datasi määritellyssä arvolistassa tai kahden arvon välillä. Opit myös löytämään suurimmat ja pienimmät arvot.

Tämä osio on yksi kurssin kiehtovimmista. Tässä opit ryhmittelemään dataa eri tavoin. Tämä auttaa sinua työskentelemään data-analyytikkona ja löytämään tietoa tietyistä dataryhmistä.

Tämä osio on yksi tärkeimmistä data-analyytikolle, koska jos data sisältää puuttuvia arvoja tai on väärässä muodossa, sen käsittely on mahdotonta. Tässä opit käsittelemään tällaisia sopimattomia arvoja.

Kuinka Poistaa Vain NaN-Arvot?

Ratkaisu


PassengerId	0
Survived	0
Pclass	0
Name	0
Sex	0
Age	86
SibSp	0
Parch	0
Ticket	0
Fare	1
Embarked	0