Los valores faltantes son comunes en los conjuntos de datos del mundo real y deben ser tratados antes de la agrupación. Se presentan tres métodos básicos: imputación por media, imputación por mediana y eliminación de filas.

Relleno con la Media

Este método reemplaza los valores faltantes en una columna con el promedio de sus valores no faltantes. Es sencillo y mantiene el promedio de la columna.

# First option
df['column_name'].fillna(df['column_name'].mean(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].mean())

Sin embargo, puede reducir la varianza y puede no ser adecuado para datos sesgados o características categóricas.

Relleno con la Mediana

Este método reemplaza los valores faltantes con la mediana de los valores no faltantes en la columna. La mediana es menos sensible a los valores atípicos que la media, lo que la hace más adecuada para datos sesgados o con valores atípicos.

# First option
df['column_name'].fillna(df['column_name'].median(), inplace=True)

# Second option
df['column_name'] = df['column_name'].fillna(df['column_name'].median())

Eliminación de filas con valores faltantes

Este método elimina cualquier fila que contenga valores faltantes. Es sencillo y no introduce datos imputados. Sin embargo, puede provocar una pérdida significativa de datos y sesgo si se eliminan muchas filas o si la ausencia de datos no es aleatoria.

# First option
df.dropna(inplace=True)

# Second option
df = df.dropna()

La elección del mejor método depende de sus datos y los objetivos de su análisis. El archivo de código muestra ejemplos prácticos de cada técnica con mayor detalle.

El archivo de código a continuación proporciona ejemplos prácticos de cada técnica de preprocesamiento cubierta en esta sección, incluyendo el manejo de valores faltantes: