DataFrames innehåller ofta **saknade värden**, representerade som `None` eller `NaN`. När man arbetar med DataFrames är det viktigt att identifiera dessa saknade värden eftersom de kan förvränga beräkningar, leda till felaktiga analyser och kompromettera resultatens tillförlitlighet.

Att åtgärda dem säkerställer **dataintegritet** och förbättrar prestandan för uppgifter som **statistisk analys** och **maskininlärning**. För detta ändamål erbjuder pandas specifika metoder.

Den första av dessa är `isna()`, som returnerar en **boolean DataFrame**. I detta sammanhang indikerar ett `True`-värde ett saknat värde inom DataFrame, medan ett `False`-värde antyder att värdet finns.

För tydlighetens skull kommer vi att tillämpa denna metod på `animals` DataFrame. `isna()`-metoden kommer att returnera en DataFrame fylld med `True`/`False`-värden, där varje `True`-värde representerar ett saknat värde i `animals` DataFrame.

import pandas as pd
import numpy as np

animals_data = {'animal': [np.NaN, 'Dog', np.NaN, 'Cat','Parrot', None],
'name': ['Dolly', None, 'Erin', 'Kelly', None, 'Odie']}
animals = pd.DataFrame(animals_data)
# Find missing values
missing_values = animals.isna()
print(missing_values)

Den andra metoden är `isnull()`. Den beter sig identiskt med den föregående, utan någon märkbar skillnad mellan dem.

import unittest
import importlib
import pandas as pd


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_missing_values_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'missing_values'),
            "The `missing_values` variable is declared.",
            "Expected `missing_values` to be declared."
        )

    def test_missing_values_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.missing_values, pd.DataFrame)
            failure_message = f"Expected `missing_values` to be a `DataFrame`, but got `{type(user_code.missing_values).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `missing_values` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `missing_values` is a `DataFrame`.",
            failure_message
        )

    def test_missing_values_has_correct_values(self):
        import user_code
        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine_with_nan.csv')
        expected_df = wine_data.isnull()

        variable = 'missing_values'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` correctly identifies missing values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas är ett extremt användarvänligt bibliotek för dataanalys. Det är också utformat för att hantera stora datamängder, med hjälp av datastrukturer som DataFrame och Series. Detta gör det till ett ovärderligt verktyg för Data Science. I denna guide kommer du att bekanta dig med en rad statistiska funktioner, inklusive hur man hittar korrelationer, lägen, medianer och maximala och minimala värden inom en dataset. Du kommer också att lära dig hur man hanterar saknade värden och manipulerar specifika värden, samt hur man tar bort dem.

I det här avsnittet kommer vi att utforska grunderna i Series och DataFrame-strukturer. Du kommer också att lära dig om skillnaderna mellan dessa två typer av strukturer.

Data kan hämtas i olika format, såsom CSV, JSON, SQL, HTML och fler. Med Pandas är du inte begränsad till ett enda format — du kan arbeta med data från en mängd olika filtyper. I detta kapitel kommer vi specifikt att fokusera på CSV- och TXT-formaten.

Här kommer du att lära dig hur man bearbetar rådata genom att ta bort överflödig information och hantera nullvärden i en dataset.

Hitta Nullvärden

Lösning