Summary  
This chapter explains how to calculate the percentage of missing values in each DataFrame column and remove columns with too many NaNs using pandas’ drop(columns=…, inplace=True) method.  

General domain of usage  
Data preprocessing in data analysis

In this video, you will learn how to handle columns with a large number of missing values in a pandas DataFrame. You will see why it is sometimes better to remove an entire column, like 'Cabin' in the Titanic dataset, rather than trying to fill in missing values. The video demonstrates how to use the `.drop()` method in pandas to delete columns, explains the key arguments like `columns` and `inplace`, and walks through a practical example using real data. By the end, you will know how to identify and efficiently remove columns that are not useful for your analysis due to excessive NaN values.

Nel capitolo precedente, hai ottenuto il seguente risultato:

|||
|---|---|
|PassengerId|0|
|Survived|0|
|Pclass|0|
|Name|0|
|Sex|0|
|Age|86|
|SibSp|0|
|Parch|0|
|Ticket|0|
|Fare|1|
|Cabin|327|
|Embarked|0|


Il dataset contiene 418 righe. Osserva la colonna `Cabin`, dove sono presenti `327` valori mancanti. Non ha senso riempirli perché abbiamo informazioni minime in questa colonna. In questo caso, la soluzione migliore è eliminare la colonna che per noi è priva di significato. Uno dei motivi è che potremmo eliminare solo le righe che contengono valori mancanti, ma non possiamo eliminare 327 righe su 418. Vediamo quindi come procedere.

Per eliminare una colonna, è necessario applicare il metodo `.drop()` al dataset. La sintassi è la seguente:

```python
# If you want to delete one column
data.drop(columns = 'column_name', inplace = True)

# If you want to delete several columns
data.drop(columns = ['column_1', 'column_2'], inplace = True)
```

**Spiegazione:**
- `.drop()` - metodo che elimina le colonne;
- `columns = 'column_name'` oppure  `columns = ['column_1', 'column_2']` - argomento della funzione, dove si specifica il nome o i nomi delle colonne da eliminare;
- `inplace = True` - argomento utile di pandas che permette di salvare tutte le modifiche. Può essere utilizzato anche in altre funzioni; ne vedremo alcune più avanti.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDropCabin(unittest.TestCase):
    def test_cabin_column_removed(self):
        """
        1. Check that the column 'Cabin' was removed from the DataFrame.
        """
        import user_code

        # load original dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_0.csv"
        df_original = pd.read_csv(url)

        # after user modifications
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        condition = "Cabin" not in df_user.columns and isinstance(df_user, pd.DataFrame)
        _dynamic_test(
            self,
            condition,
            "The column 'Cabin' has been successfully removed from the DataFrame.",
            "The 'Cabin' column was not removed. Use data.drop(columns='Cabin', inplace=True)."
        )


class TestOutput(unittest.TestCase):
    def test_sample_output(self):
        """
        2. Check that 5 random rows of the modified DataFrame are printed.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output

        # run the print statement again if needed
        if hasattr(user_code, "data"):
            print(user_code.data.sample(5))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0 and len(output_text.splitlines()) > 1
        _dynamic_test(
            self,
            condition,
            "The output displays 5 random rows of the modified DataFrame.",
            "The output is missing or incorrect. Use print(data.sample(5))."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Questo corso contiene molte funzioni utili per un futuro data analyst. Imparerai diversi modi per estrarre dati e persino impostare condizioni su di essi. Successivamente, conoscerai i metodi di raggruppamento dei dati. Inoltre, apprenderai come preprocessare i dati. Ogni sezione ha il proprio set di dati, rendendo il corso coinvolgente.

Questa sezione ti insegnerà come visualizzare colonne specifiche in base ai loro titoli o indici. Inoltre, verranno illustrate le modalità per selezionare le righe tramite gli indici.

Qui imparerai come estrarre dati che soddisfano condizioni specifiche. Inoltre, imparerai come combinarle e persino crearne di proprie.

In questa sezione, amplierai le tue conoscenze sull'impostazione di diverse condizioni sui dati. Imparerai a verificare se i tuoi dati sono presenti in un elenco definito di valori o compresi tra due valori. Imparerai anche come trovare i valori più grandi e più piccoli.

Questa sezione è una delle più affascinanti del corso. Qui imparerai come raggruppare i dati in diversi modi. Ti aiuterà a lavorare come data analyst per individuare informazioni su specifici gruppi di dati.

Questa sezione è una delle più significative per un data analyst perché, se i dati contengono valori mancanti o in un formato errato, sarà impossibile lavorarci. Pertanto, qui imparerai come gestire tali valori inappropriati.

Cosa Faremo con i Valori NaN?

Soluzione


PassengerId	0
Survived	0
Pclass	0
Name	0
Sex	0
Age	86
SibSp	0
Parch	0
Ticket	0
Fare	1
Cabin	327
Embarked	0