Summary  
This chapter shows how to compute the number of missing values in each column of a DataFrame by chaining the isna()/isnull() methods with sum().  

General domain of usage  
Data analysis

On syytä huomata, että ei ole kätevää tarkistaa jokaista arvoa aineistosta NaN-arvojen varalta. On helpompaa tarkastella puuttuvien arvojen määrää, jotta voidaan päätellä, missä sarakkeissa on NaN-arvoja.
Kuten muistat, meillä on kaksi funktiota puuttuvien arvojen tarkistamiseen. Summan laskemiseen käytetään `.sum()`-funktiota. Yleisesti ottaen meillä on siis kaksi vaihtoehtoa NaN-arvojen määrän näyttämiseen kullekin sarakkeelle:

```python
data.isna().sum()
# Or
data.isnull().sum()
```

Ei mitään monimutkaista. Siirrytään seuraavaan tehtävään.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def series_equal(s1, s2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ Series Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ ÑÐ¾ÑÑÑÐ²Ð°Ð½Ð½Ñ ÑÐ½Ð´ÐµÐºÑÑ."""
    try:
        s1_sorted = s1.sort_index()
        s2_sorted = s2.sort_index()
        return s1_sorted.equals(s2_sorted)
    except Exception:
        return False


class TestMissingValues(unittest.TestCase):
    def test_missing_values_count(self):
        """
        1. Calculate the number of missing values for the dataset.
        """
        import user_code

        # reference
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_0.csv"
        df = pd.read_csv(url)
        ref = df.isna().sum()

        # Ð·Ð½Ð°Ð¹Ð´ÐµÐ¼Ð¾ Series ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°ÑÐ°
        user_series = None
        for var_name, var_val in user_code.__dict__.items():
            if isinstance(var_val, pd.Series) and var_val.shape == ref.shape:
                if series_equal(var_val, ref):
                    user_series = var_val
                    break

        assert user_series is not None, "No Series with correct missing values count found."

        _dynamic_test(
            self,
            True,
            "The number of missing values for each column is calculated correctly.",
            "The missing values count is incorrect. Use data.isna().sum() or similar."
        )


class TestOutput(unittest.TestCase):
    def test_print_output(self):
        """
        2. Output the result of missing values calculation.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output

        # find printed Series
        if hasattr(user_code, "Nan"):
            print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The missing values count is printed correctly.",
            "The output is missing. Use print(...) to display the result."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Tämä kurssi sisältää runsaasti hyödyllisiä toimintoja tulevalle data-analyytikolle. Opit erilaisia tapoja tietojen poimimiseen ja voit jopa asettaa niille ehtoja. Tämän jälkeen tulet tutuksi tietojen ryhmittelymenetelmien kanssa. Lisäksi opit, kuinka esikäsitellä tietoja. Jokaisessa osiossa on oma tietoaineistonsa, joten kurssi on mukaansatempaava.

Tässä osiossa opit, kuinka voit tulostaa tiettyjä sarakkeita niiden nimien tai indeksien perusteella. Lisäksi tutustut tapoihin, joilla voit valita rivejä indeksien avulla.

Tässä opit, kuinka voit poimia dataa, jolla on tietyt ehdot. Opit myös, kuinka yhdistää näitä ehtoja ja jopa luoda omia ehtoja.

Tässä osiossa laajennat tietämystäsi erilaisten datan ehtojen asettamisesta. Opit tarkistamaan, onko datasi määritellyssä arvolistassa tai kahden arvon välillä. Opit myös löytämään suurimmat ja pienimmät arvot.

Tämä osio on yksi kurssin kiehtovimmista. Tässä opit ryhmittelemään dataa eri tavoilla. Tämä auttaa sinua työskentelemään data-analyytikkona ja löytämään tietoa tietyistä dataryhmistä.

Tämä osio on yksi tärkeimmistä data-analyytikolle, koska jos data sisältää puuttuvia arvoja tai on väärässä muodossa, sen kanssa työskentely on mahdotonta. Tässä opit käsittelemään tällaisia sopimattomia arvoja.

Puuttuvien Arvojen Määrän Laskeminen

Ratkaisu