Valori mancanti sono comuni nei dataset reali e devono essere gestiti prima del clustering. Verranno trattati tre metodi di base: imputazione della media, imputazione della mediana e rimozione delle righe.

Sostituzione con la Media

Questo metodo sostituisce i valori mancanti in una colonna con la media dei valori non mancanti. È semplice e mantiene la media della colonna.

# First option
df['column_name'].fillna(df['column_name'].mean(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].mean())

Tuttavia, può ridurre la varianza e potrebbe non essere adatto per dati asimmetrici o variabili categoriche.

Sostituzione con la Mediana

Questo metodo sostituisce i valori mancanti con la mediana dei valori non mancanti nella colonna. La mediana è meno sensibile ai valori anomali rispetto alla media, rendendola più adatta per dati asimmetrici o con outlier.

# First option
df['column_name'].fillna(df['column_name'].median(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].median())

Rimozione delle righe con valori mancanti

Questo metodo elimina tutte le righe che contengono valori mancanti. È semplice e non introduce dati imputati. Tuttavia, può portare a una perdita significativa di dati e a distorsioni se vengono rimosse molte righe o se la mancanza di dati non è casuale.

# First option
df.dropna(inplace=True)

# Second option
df = df.dropna()

La scelta del metodo migliore dipende dai dati e dagli obiettivi dell'analisi. Il file di codice mostra esempi pratici di ciascuna tecnica in modo più dettagliato.

Il file di codice seguente fornisce esempi pratici di ciascuna tecnica di pre-elaborazione trattata in questa sezione, inclusa la gestione dei valori mancanti: