Summary
Detecting missing values in tabular data by generating a boolean mask using methods like isna() or isnull().

General domain of usage
Data analysis

DataFrames inneholder ofte **manglende verdier**, representert som `None` eller `NaN`. Når man arbeider med DataFrames, er det viktig å identifisere disse manglende verdiene fordi de kan forvrenge beregninger, føre til unøyaktige analyser og svekke påliteligheten til resultatene.

Å håndtere dem sikrer **dataintegritet** og forbedrer ytelsen til oppgaver som **statistisk analyse** og **maskinlæring**. For dette formålet tilbyr pandas spesifikke metoder.

Den første av disse er `isna()`, som returnerer en **boolsk DataFrame**. I denne sammenhengen indikerer en `True`-verdi en manglende verdi i DataFrame, mens en `False`-verdi antyder at verdien er til stede.

For tydelighet, bruk denne metoden på `animals` DataFrame. Metoden `isna()` returnerer en `DataFrame` med `True`/`False`-verdier, der hver `True` indikerer en manglende verdi i `animals` DataFrame.


import pandas as pd
import numpy as np

animals_data = {'animal': [np.NaN, 'Dog', np.NaN, 'Cat','Parrot', None],
'name': ['Dolly', None, 'Erin', 'Kelly', None, 'Odie']}
animals = pd.DataFrame(animals_data)
# Find missing values
missing_values = animals.isna()
print(missing_values)

Den andre metoden er `isnull()`. Den fungerer identisk med den forrige, uten noen merkbar forskjell mellom dem.

import unittest
import importlib
import pandas as pd


def get_first_differing_row(expected_df, actual_df):
    expected_list = expected_df.astype(str).apply(tuple, axis=1)
    actual_list = actual_df.astype(str).apply(tuple, axis=1)

    for i, (row1, row2) in enumerate(zip(expected_list, actual_list)):
        if row1 != row2:
            return i, expected_df.iloc[i].values, actual_df.iloc[i].values

    if len(expected_df) > len(actual_df):
        return len(actual_df), expected_df.iloc[len(actual_df)].values, None
    else:
        return len(expected_df), None, actual_df.iloc[len(expected_df)].values


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    def test_missing_values_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'missing_values'),
            "The `missing_values` variable is declared.",
            "Expected `missing_values` to be declared."
        )

    def test_missing_values_is_dataframe(self):
        import user_code

        try:
            condition = isinstance(user_code.missing_values, pd.DataFrame)
            failure_message = f"Expected `missing_values` to be a `DataFrame`, but got `{type(user_code.missing_values).__name__}`."
        except AttributeError:
            condition = False
            failure_message = "The `missing_values` variable is not declared."

        _dynamic_test(
            self,
            condition,
            "The variable `missing_values` is a `DataFrame`.",
            failure_message
        )

    def test_missing_values_has_correct_values(self):
        import user_code
        wine_data = pd.read_csv(
            'https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a43d24b6-df61-4e11-9c90-5b36552b3437/wine_with_nan.csv')
        expected_df = wine_data.isnull()

        variable = 'missing_values'
        actual_df = getattr(user_code, variable, None)
        condition = False
        if actual_df is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_df, pd.DataFrame):
            failure_message = f"`{variable}` is not a `DataFrame`."
        elif actual_df.empty:
            failure_message = f"`{variable}` is empty."
        elif actual_df.equals(expected_df):
            condition = True
            failure_message = None
        else:
            idx, expected_row, actual_row = get_first_differing_row(expected_df, actual_df)
            failure_message = f"Expected `{variable}` to contain `{expected_row}` at row {idx}, but got `{actual_row}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` correctly identifies missing values.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Pandas er et svært brukervennlig bibliotek for dataanalyse. Det er også utviklet for å håndtere store datasett, ved bruk av datastrukturer som DataFrame og Series. Dette gjør det til et uvurderlig verktøy innen Data Science. I denne veiledningen blir du kjent med ulike statistiske funksjoner, inkludert hvordan du finner korrelasjoner, typetall, medianer samt maksimums- og minimumsverdier i et datasett. Du lærer også hvordan du håndterer manglende verdier og manipulerer spesifikke verdier, samt hvordan du fjerner dem.

Utforsk grunnleggende konsepter i pandas-biblioteket. Lær å opprette og manipulere Series og DataFrames, undersøk deres struktur, og bygg selvtillit i å utføre essensielle dataoperasjoner.

Lær å laste inn og håndtere data fra CSV- og TXT-filer. Få praktisk erfaring med å importere datasett og klargjøre dem for videre analyse ved hjelp av pandas-verktøy.

Lær å utforske, rense og oppsummere data effektivt. Forstå hvordan man håndterer manglende verdier, trekker ut innsikt og utfører grunnleggende statistiske operasjoner med pandas.

Finne Nullverdier

Løsning

Awesome!

Finne Nullverdier

Løsning