Summary
Detecting missing values in tabular data by generating a boolean mask using methods like isna() or isnull().

General domain of usage
Data analysis

DataFrames innehåller ofta **saknade värden**, representerade som `None` eller `NaN`. Vid arbete med DataFrames är det viktigt att identifiera dessa saknade värden eftersom de kan förvränga beräkningar, leda till felaktiga analyser och äventyra resultatens tillförlitlighet.

Att hantera dem säkerställer **dataintegritet** och förbättrar prestandan för uppgifter som **statistisk analys** och **maskininlärning**. För detta ändamål erbjuder pandas specifika metoder.

Den första av dessa är `isna()`, som returnerar en **boolean DataFrame**. I detta sammanhang indikerar ett `True`-värde ett saknat värde i DataFrame, medan ett `False`-värde antyder att värdet finns.

För tydlighetens skull, tillämpa denna metod på DataFrame `animals`. Metoden `isna()` returnerar en `DataFrame` med `True`/`False`-värden, där varje `True` markerar ett saknat värde i DataFrame `animals`.


import pandas as pd
import numpy as np

animals_data = {'animal': [np.NaN, 'Dog', np.NaN, 'Cat','Parrot', None],
'name': ['Dolly', None, 'Erin', 'Kelly', None, 'Odie']}
animals = pd.DataFrame(animals_data)
# Find missing values
missing_values = animals.isna()
print(missing_values)

Den andra metoden är `isnull()`. Den fungerar identiskt med den föregående, utan någon märkbar skillnad mellan dem.

import unittest
import importlib
import pandas as pd


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_missing_values_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'missing_values'),
            "The `missing_values` variable is declared.",
            "Expected `missing_values` to be declared."
        )

    def test_missing_values_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.missing_values, pd.DataFrame)
            failure_message = f"Expected `missing_values` to be a `DataFrame`, but got `{type(user_code.missing_values).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `missing_values` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `missing_values` is a `DataFrame`.",
            failure_message
        )

    def test_missing_values_has_correct_values(self):
        import user_code
        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine_with_nan.csv')
        expected_df = wine_data.isnull()

        variable = 'missing_values'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` correctly identifies missing values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas är ett mycket användarvänligt bibliotek för dataanalys. Det är också utformat för att hantera stora datamängder med hjälp av datastrukturer som DataFrame och Series. Detta gör det till ett ovärderligt verktyg inom Data Science. I denna guide får du bekanta dig med olika statistiska funktioner, inklusive hur man hittar korrelationer, typvärden, medianer samt maximala och minimala värden i en datamängd. Du lär dig även hur man hanterar saknade värden och manipulerar specifika värden, samt hur man tar bort dem.

Fördjupa dig i grunderna för pandas-biblioteket. Skapa och manipulera Series och DataFrames, utforska deras struktur och stärk din förmåga att utföra grundläggande dataoperationer.

Bemästra hur du läser in och hanterar data från CSV- och TXT-filer. Få praktisk erfarenhet av att importera dataset och förbereda dem för vidare analys med hjälp av pandas-verktyg.

Lär dig att utforska, rensa och sammanfatta data på ett effektivt sätt. Förstå hur man hanterar saknade värden, extraherar insikter och utför grundläggande statistiska operationer med pandas.

Hitta Nullvärden

Lösning

Awesome!

Hitta Nullvärden

Lösning