Summary  
This chapter explains how to calculate the percentage of missing values in each DataFrame column and remove columns with too many NaNs using pandas’ drop(columns=…, inplace=True) method.  

General domain of usage  
Data preprocessing in data analysis

In this video, you will learn how to handle columns with a large number of missing values in a pandas DataFrame. You will see why it is sometimes better to remove an entire column, like 'Cabin' in the Titanic dataset, rather than trying to fill in missing values. The video demonstrates how to use the `.drop()` method in pandas to delete columns, explains the key arguments like `columns` and `inplace`, and walks through a practical example using real data. By the end, you will know how to identify and efficiently remove columns that are not useful for your analysis due to excessive NaN values.

En el capítulo anterior, obtuviste el siguiente resultado:

|||
|---|---|
|PassengerId|0|
|Survived|0|
|Pclass|0|
|Name|0|
|Sex|0|
|Age|86|
|SibSp|0|
|Parch|0|
|Ticket|0|
|Fare|1|
|Cabin|327|
|Embarked|0|


El conjunto de datos tiene 418 filas. Observa la columna `Cabin`, donde hay `327` valores faltantes. No tiene sentido rellenarlos porque la información disponible es mínima. Por lo tanto, en este caso, la mejor solución es eliminar la columna que no nos aporta información relevante. Una de las razones es que podríamos eliminar solo las filas que contienen valores faltantes, pero no podemos eliminar 327 filas de 418. Así que, veamos cómo hacerlo.

Para eliminar una columna, debes aplicar el método `.drop()` al conjunto de datos. La sintaxis es la siguiente:

```python
# If you want to delete one column
data.drop(columns = 'column_name', inplace = True)

# If you want to delete several columns
data.drop(columns = ['column_1', 'column_2'], inplace = True)
```

**Explicación:**
- `.drop()` - método que elimina columnas;
- `columns = 'column_name'` o  `columns = ['column_1', 'column_2']` - argumento de la función donde se especifica el nombre o los nombres de las columnas que se desean eliminar;
- `inplace = True` - argumento útil de pandas que permite guardar todos los cambios. También puedes usarlo en otras funciones; aprenderemos algunas de ellas más adelante.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDropCabin(unittest.TestCase):
    def test_cabin_column_removed(self):
        """
        1. Check that the column 'Cabin' was removed from the DataFrame.
        """
        import user_code

        # load original dataset
        url = "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/titanic_0.csv"
        df_original = pd.read_csv(url)

        # after user modifications
        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        condition = "Cabin" not in df_user.columns and isinstance(df_user, pd.DataFrame)
        _dynamic_test(
            self,
            condition,
            "The column 'Cabin' has been successfully removed from the DataFrame.",
            "The 'Cabin' column was not removed. Use data.drop(columns='Cabin', inplace=True)."
        )


class TestOutput(unittest.TestCase):
    def test_sample_output(self):
        """
        2. Check that 5 random rows of the modified DataFrame are printed.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output

        # run the print statement again if needed
        if hasattr(user_code, "data"):
            print(user_code.data.sample(5))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0 and len(output_text.splitlines()) > 1
        _dynamic_test(
            self,
            condition,
            "The output displays 5 random rows of the modified DataFrame.",
            "The output is missing or incorrect. Use print(data.sample(5))."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Este curso contiene muchas funciones útiles para un futuro analista de datos. Aprenderás diferentes formas de extraer datos e incluso establecer condiciones sobre ellos. Después de esto, estarás familiarizado con los métodos de agrupación de datos. Además, aprenderás cómo preprocesar datos. Cada sección tiene su propio conjunto de datos, lo que hace que el curso sea atractivo.

Esta sección te enseñará cómo mostrar columnas específicas por sus títulos o índices. Además, te familiarizarás con las formas en que puedes seleccionar filas por índices.

Aquí aprenderás cómo extraer datos que cumplen condiciones específicas. Además, aprenderás cómo combinarlas e incluso crear tus propias condiciones.

En esta sección, ampliarás tus conocimientos sobre cómo establecer diferentes condiciones de datos. Aprenderás a verificar si tus datos se encuentran en una lista definida de valores o entre dos valores. También aprenderás a encontrar los valores más grandes y más pequeños.

Esta sección es una de las más fascinantes del curso. Aquí aprenderás cómo agrupar datos de diferentes maneras. Te ayudará a trabajar como analista de datos para descubrir información sobre grupos de datos específicos.

Esta sección es una de las más significativas para un analista de datos porque si los datos contienen valores faltantes o en un formato incorrecto, será imposible trabajar con ellos. Por lo tanto, aquí aprenderás cómo tratar con dichos valores inapropiados.

What Will We Do With the NaN Values?

Solución


PassengerId	0
Survived	0
Pclass	0
Name	0
Sex	0
Age	86
SibSp	0
Parch	0
Ticket	0
Fare	1
Cabin	327
Embarked	0