Manglende verdier er vanlige i datasett fra virkeligheten og må håndteres før klynging. Vi gjennomgår tre grunnleggende metoder: gjennomsnittsimputering, medianimputering og fjerning av rader.

Utfylling med gjennomsnitt

Denne metoden erstatter manglende verdier i en kolonne med gjennomsnittet av de ikke-manglende verdiene. Metoden er enkel og opprettholder kolonnegjennomsnittet.

# First option
df['column_name'].fillna(df['column_name'].mean(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].mean())

Metoden kan imidlertid redusere variansen og er ikke egnet for skjevfordelte data eller kategoriske variabler.

Utfylling med median

Denne metoden erstatter manglende verdier med medianen av de ikke-manglende verdiene i kolonnen. Medianen er mindre følsom for uteliggere enn gjennomsnittet, og egner seg derfor bedre for skjevfordelte data eller data med uteliggere.

# First option
df['column_name'].fillna(df['column_name'].median(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].median())

Fjerning av rader med manglende verdier

Denne metoden sletter alle rader som inneholder manglende verdier. Den er enkel og introduserer ingen imputerte data. Likevel kan det føre til betydelig datatap og skjevhet dersom mange rader fjernes eller manglende verdier ikke er tilfeldig fordelt.

# First option
df.dropna(inplace=True)

# Second option
df = df.dropna()

Valg av beste metode avhenger av dine data og analysemål. Kodefilen viser praktiske eksempler på hver teknikk i mer detalj.

Kodefilen under gir praktiske eksempler på hver forbehandlingsteknikk som er dekket i denne delen, inkludert håndtering av manglende verdier: