Summary  
This chapter explains how to remove rows that contain any NaN values from a dataset using the pandas DataFrame method `.dropna()` with `inplace=True`.  

General domain of usage  
Data preprocessing in data analysis

Você já aprendeu uma forma de lidar com valores NaN, mas vamos refletir sobre o que pode ser feito com os demais. Observe novamente a quantidade de valores ausentes em cada coluna:

No capítulo anterior, você obteve o seguinte resultado:

|||
|---|---|
|PassengerId|0|
|Survived|0|
|Pclass|0|
|Name|0|
|Sex|0|
|Age|86|
|SibSp|0|
|Parch|0|
|Ticket|0|
|Fare|1|
|Embarked|0|


A maneira mais simples é remover todas as linhas que contêm valores ausentes. Por exemplo, `86` linhas com idades estão ausentes, assim como `1` linha na coluna `'Fare'`. Vamos analisar como podemos excluí-las. No pandas, é possível fazer isso utilizando um método simples, semelhante ao do capítulo anterior, chamado ` .dropna()`:
```python
data.dropna(inplace=True)
```

Aqui, pode-se utilizar `inplace=True` para salvar todas as alterações. Vamos detalhar a função. Se uma linha na coluna `'Age'` possuir um valor NaN, esse método irá remover todos os valores da mesma linha. A linha inteira será excluída caso pelo menos um valor esteja ausente.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestDropna(unittest.TestCase):
    def test_no_missing_values(self):
        """
        1. After dropping NaN values, DataFrame should contain no missing values.
        """
        import user_code

        assert hasattr(user_code, "data"), "Variable 'data' not found."
        df_user = user_code.data

        condition = df_user.isna().sum().sum() == 0
        _dynamic_test(
            self,
            condition,
            "All missing values were successfully removed from the DataFrame.",
            "The DataFrame still contains NaN values. Use data.dropna(inplace=True)."
        )


class TestCountNaN(unittest.TestCase):
    def test_nan_count_series(self):
        """
        2. The Series with NaN counts should contain all zeros.
        """
        import user_code
        assert hasattr(user_code, "Nan"), "Variable 'Nan' not found."

        nan_series = user_code.Nan
        condition = isinstance(nan_series, pd.Series) and nan_series.sum() == 0
        _dynamic_test(
            self,
            condition,
            "The Series with NaN counts contains only zeros â no missing values remain.",
            "The NaN count is not zero for all columns. Check your dropna() operation."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. The output of the NaN count should be printed.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.Nan)
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The NaN count is printed correctly.",
            "No output detected. Ensure you print the NaN count Series."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Este curso contém diversas funções úteis para um futuro analista de dados. Você aprenderá diferentes formas de extrair dados e até mesmo definir condições sobre eles. Após isso, estará familiarizado com os métodos de agrupamento de dados. Além disso, aprenderá como pré-processar dados. Cada seção possui seu próprio conjunto de dados, tornando o curso envolvente.

Esta seção ensinará como exibir colunas específicas por seus títulos ou índices. Além disso, você se familiarizará com as formas de selecionar linhas por índices.

Aqui, você aprenderá como extrair dados que possuem condições específicas. Além disso, você aprenderá como combiná-las e até mesmo criar as suas próprias.

Nesta seção, você expandirá seu conhecimento sobre a definição de diferentes condições de dados. Você aprenderá a verificar se seus dados estão em uma lista definida de valores ou entre dois valores. Você também aprenderá a identificar os maiores e menores valores.

Esta seção é uma das mais fascinantes do curso. Aqui, você aprenderá como agrupar dados de diferentes maneiras. Isso ajudará no trabalho como analista de dados para identificar informações em grupos de dados específicos.

Esta seção é uma das mais significativas para um analista de dados, pois, se os dados contiverem valores ausentes ou em formato incorreto, será impossível trabalhar com eles. Assim, você aprenderá como lidar com esses valores inadequados aqui.

Como Excluir Apenas Valores NaN?

Solução

Awesome!

Como Excluir Apenas Valores NaN?

Solução


PassengerId	0
Survived	0
Pclass	0
Name	0
Sex	0
Age	86
SibSp	0
Parch	0
Ticket	0
Fare	1
Embarked	0