Saknade värden är vanliga i verkliga datamängder och måste hanteras innan klustring. Vi går igenom tre grundläggande metoder: medelimputation, medianimputation och borttagning av rader.

Fyll med medelvärde

Denna metod ersätter saknade värden i en kolumn med genomsnittet av dess icke-saknade värden. Det är enkelt och bevarar kolumnens medelvärde.

# First option
df['column_name'].fillna(df['column_name'].mean(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].mean())

Dock kan det minska variansen och är kanske inte lämpligt för snedfördelad data eller kategoriska variabler.

Fyll med median

Denna metod ersätter saknade värden med medianen av de icke-saknade värdena i kolumnen. Medianen är mindre känslig för extremvärden än medelvärdet, vilket gör den bättre för snedfördelad data eller data med extremvärden.

# First option
df['column_name'].fillna(df['column_name'].median(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].median())

Ta bort rader med saknade värden

Denna metod tar bort alla rader som innehåller saknade värden. Den är enkel och introducerar inga imputerade data. Dock kan det leda till betydande dataförlust och bias om många rader tas bort eller om saknade värden inte är slumpmässiga.

# First option
df.dropna(inplace=True)

# Second option
df = df.dropna()

Valet av bästa metod beror på din data och dina analysmål. Kodfilen visar praktiska exempel på varje teknik i mer detalj.

Kodfilen nedan ger praktiska exempel på varje förbehandlingsteknik som behandlas i detta avsnitt, inklusive hantering av saknade värden: