Summary  
This chapter explains how to calculate the percentage of missing values in each DataFrame column and remove columns with too many NaNs using pandas’ drop(columns=…, inplace=True) method.  

General domain of usage  
Data preprocessing in data analysis

In this video, you will learn how to handle columns with a large number of missing values in a pandas DataFrame. You will see why it is sometimes better to remove an entire column, like 'Cabin' in the Titanic dataset, rather than trying to fill in missing values. The video demonstrates how to use the `.drop()` method in pandas to delete columns, explains the key arguments like `columns` and `inplace`, and walks through a practical example using real data. By the end, you will know how to identify and efficiently remove columns that are not useful for your analysis due to excessive NaN values.

Im vorherigen Kapitel hast du folgendes Ergebnis erhalten:

|||
|---|---|
|PassengerId|0|
|Survived|0|
|Pclass|0|
|Name|0|
|Sex|0|
|Age|86|
|SibSp|0|
|Parch|0|
|Ticket|0|
|Fare|1|
|Cabin|327|
|Embarked|0|


Der Datensatz umfasst 418 Zeilen. Betrachte die Spalte `Cabin`, in der `327` Werte fehlen. Es ergibt keinen Sinn, diese Werte zu ergänzen, da hier nur minimale Informationen vorliegen. In diesem Fall ist es daher am sinnvollsten, die für uns nutzlose Spalte zu löschen. Einer der Gründe ist, dass wir zwar nur die Zeilen mit fehlenden Werten löschen könnten, aber nicht 327 von 418 Zeilen entfernen können. Schauen wir uns also an, wie das funktioniert.

Um eine Spalte zu löschen, muss die Methode `.drop()` auf den Datensatz angewendet werden. Die Syntax lautet wie folgt:

```python
# If you want to delete one column
data.drop(columns = 'column_name', inplace = True)

# If you want to delete several columns
data.drop(columns = ['column_1', 'column_2'], inplace = True)
```

**Erläuterung:**
- `.drop()` – Methode zum Löschen von Spalten;
- `columns = 'column_name'` oder  `columns = ['column_1', 'column_2']` – Argument der Funktion, in dem der Name oder die Namen der zu löschenden Spalten angegeben werden;
- `inplace = True` – nützliches Argument von pandas, das alle Änderungen speichert. Dieses Argument kann auch in anderen Funktionen verwendet werden; einige davon werden wir später kennenlernen.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDropCabin(unittest.TestCase):
    def test_cabin_column_removed(self):
        """
        1. Check that the column 'Cabin' was removed from the DataFrame.
        """
        import user_code

        # load original dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_0.csv"
        df_original = pd.read_csv(url)

        # after user modifications
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        condition = "Cabin" not in df_user.columns and isinstance(df_user, pd.DataFrame)
        _dynamic_test(
            self,
            condition,
            "The column 'Cabin' has been successfully removed from the DataFrame.",
            "The 'Cabin' column was not removed. Use data.drop(columns='Cabin', inplace=True)."
        )


class TestOutput(unittest.TestCase):
    def test_sample_output(self):
        """
        2. Check that 5 random rows of the modified DataFrame are printed.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output

        # run the print statement again if needed
        if hasattr(user_code, "data"):
            print(user_code.data.sample(5))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0 and len(output_text.splitlines()) > 1
        _dynamic_test(
            self,
            condition,
            "The output displays 5 random rows of the modified DataFrame.",
            "The output is missing or incorrect. Use print(data.sample(5))."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Dieser Kurs enthält viele nützliche Funktionen für angehende Data Analysts. Sie lernen verschiedene Methoden zur Extraktion von Daten kennen und können sogar Bedingungen darauf anwenden. Anschließend werden Sie mit Methoden zur Gruppierung von Daten vertraut gemacht. Außerdem lernen Sie, wie man Daten vorverarbeitet. Jeder Abschnitt verfügt über einen eigenen Datensatz, sodass der Kurs spannend bleibt.

In diesem Abschnitt lernen Sie, wie Sie bestimmte Spalten anhand ihrer Titel oder Indizes ausgeben. Außerdem machen Sie sich mit den Methoden vertraut, mit denen Sie Zeilen anhand von Indizes auswählen können.

Hier lernen Sie, wie man Daten extrahiert, die bestimmte Bedingungen erfüllen. Außerdem lernen Sie, wie man diese kombiniert und sogar eigene Bedingungen erstellt.

In diesem Abschnitt erweitern Sie Ihr Wissen über das Festlegen verschiedener Datenbedingungen. Sie lernen, zu überprüfen, ob Ihre Daten in einer definierten Werteliste oder zwischen zwei Werten liegen. Sie erfahren außerdem, wie Sie die größten und kleinsten Werte finden.

Dieser Abschnitt ist einer der faszinierendsten des Kurses. Hier lernen Sie, wie Sie Daten auf verschiedene Arten gruppieren können. Dies wird Ihnen als Data Analyst helfen, Informationen über bestimmte Datengruppen zu ermitteln.

Dieser Abschnitt ist einer der wichtigsten für Datenanalysten, da es unmöglich ist, mit Daten zu arbeiten, wenn sie fehlende Werte oder ein falsches Format enthalten. Daher lernen Sie hier, wie man mit solchen ungeeigneten Werten umgeht.

Was Machen Wir Mit Den NaN-Werten?

Lösung


PassengerId	0
Survived	0
Pclass	0
Name	0
Sex	0
Age	86
SibSp	0
Parch	0
Ticket	0
Fare	1
Cabin	327
Embarked	0