Summary  
This chapter shows how to compute the number of missing values in each column of a DataFrame by chaining the isna()/isnull() methods with sum().  

General domain of usage  
Data analysis

Het is belangrijk op te merken dat het niet handig is om elke waarde van de dataset afzonderlijk te controleren op NaN. Het is handiger om het aantal ontbrekende waarden te bekijken om te bepalen in welke kolommen NaN's voorkomen.
Zoals u zich herinnert, zijn er twee functies om ontbrekende waarden te controleren. Om de som te berekenen, gebruikt u eenvoudig de `.sum()` functie. In het algemeen zijn er dus twee opties om het aantal NaN's per kolom weer te geven:

```python
data.isna().sum()
# Or
data.isnull().sum()
```

Geen ingewikkelde zaken. Laten we doorgaan met de opdracht.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def series_equal(s1, s2):
    """ÐÐµÑÐµÐ²ÑÑÐºÐ° ÑÑÐ²Ð½Ð¾ÑÑÑ Series Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ ÑÐ¾ÑÑÑÐ²Ð°Ð½Ð½Ñ ÑÐ½Ð´ÐµÐºÑÑ."""
    try:
        s1_sorted = s1.sort_index()
        s2_sorted = s2.sort_index()
        return s1_sorted.equals(s2_sorted)
    except Exception:
        return False


class TestMissingValues(unittest.TestCase):
    def test_missing_values_count(self):
        """
        1. Calculate the number of missing values for the dataset.
        """
        import user_code

        # reference
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_0.csv"
        df = pd.read_csv(url)
        ref = df.isna().sum()

        # Ð·Ð½Ð°Ð¹Ð´ÐµÐ¼Ð¾ Series ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°ÑÐ°
        user_series = None
        for var_name, var_val in user_code.__dict__.items():
            if isinstance(var_val, pd.Series) and var_val.shape == ref.shape:
                if series_equal(var_val, ref):
                    user_series = var_val
                    break

        assert user_series is not None, "No Series with correct missing values count found."

        _dynamic_test(
            self,
            True,
            "The number of missing values for each column is calculated correctly.",
            "The missing values count is incorrect. Use data.isna().sum() or similar."
        )


class TestOutput(unittest.TestCase):
    def test_print_output(self):
        """
        2. Output the result of missing values calculation.
        """
        import user_code

        captured_output = io.StringIO()
        sys.stdout = captured_output

        # find printed Series
        if hasattr(user_code, "Nan"):
            print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The missing values count is printed correctly.",
            "The output is missing. Use print(...) to display the result."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Deze cursus bevat veel nuttige functies voor een toekomstige data-analist. Je leert verschillende manieren om data te extraheren en zelfs voorwaarden hierop toe te passen. Daarna raak je vertrouwd met methoden voor het groeperen van data. Ook leer je hoe je data kunt preprocessen. Elke sectie heeft zijn eigen dataset, waardoor de cursus boeiend blijft.

In deze sectie leert u hoe u specifieke kolommen kunt weergeven op basis van hun titels of indexen. Ook maakt u kennis met de methoden om rijen te selecteren op basis van indexen.

Hier leert u hoe u gegevens extraheert die aan specifieke voorwaarden voldoen. Daarnaast leert u hoe u deze voorwaarden kunt combineren en zelfs uw eigen voorwaarden kunt creëren.

In deze sectie breidt u uw kennis uit over het instellen van verschillende gegevenscondities. U leert controleren of uw gegevens zich in een gedefinieerde lijst met waarden bevinden of tussen twee waarden liggen. U leert ook hoe u de grootste en kleinste waarden kunt vinden.

Deze sectie behoort tot de meest boeiende van de cursus. Hier leert u hoe u gegevens op verschillende manieren kunt groeperen. Dit helpt u als data-analist om informatie over specifieke gegevensgroepen te achterhalen.

Deze sectie is een van de belangrijkste voor een data-analist, omdat het onmogelijk is om met gegevens te werken als deze ontbrekende waarden of een onjuist formaat bevatten. Hier leert u hoe u met dergelijke ongeschikte waarden omgaat.

Het Berekenen van het Aantal Ontbrekende Waarden

Oplossing

Awesome!

Het Berekenen van het Aantal Ontbrekende Waarden

Oplossing