A classe SimpleImputer foi projetada para lidar com dados ausentes, substituindo automaticamente os valores faltantes.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer()

Ao ser inicializada, ela pode ser personalizada por meio de seus parâmetros:

• missing_value: especifica o marcador para os valores ausentes. Por padrão, é np.nan;
• strategy: a estratégia utilizada para imputar os valores ausentes. O valor padrão é 'mean';
• fill_value: especifica o valor a ser utilizado para preencher valores ausentes quando a strategy é 'constant'. Por padrão, é None.

Como um transformador, possui os seguintes métodos:

Também é necessário decidir quais valores utilizar para a imputação.

Uma abordagem comum é substituir valores numéricos ausentes pela média e valores categóricos ausentes pela moda (valor mais frequente), pois isso minimiza a distorção da distribuição dos dados.

A escolha é controlada pelo parâmetro strategy:

• strategy='mean': imputa com a média de cada coluna;
• strategy='median': imputa com a mediana de cada coluna;
• strategy='most_frequent': imputa com a moda de cada coluna;
• strategy='constant': imputa com um valor constante especificado no parâmetro fill_value.

O parâmetro missing_values define quais valores são tratados como ausentes. Por padrão, é NaN, mas em alguns conjuntos de dados pode ser uma string vazia '' ou outro marcador.

Quando o método .fit_transform() do SimpleImputer é aplicado, ele retorna um array 2D. A atribuição de valores a uma única coluna em um DataFrame do pandas requer um array 1D (ou Series).

df['column'] = ...  # Requires 1D array or Series
imputer.fit_transform(df[['column']])  # Produces 2D array

O método .ravel() pode ser utilizado para achatar o array para 1D antes da atribuição:

df['column'] = imputer.fit_transform(df[['column']]).ravel()

Isso garante que os valores imputados estejam devidamente formatados e armazenados na coluna do DataFrame.

Ótimo! Lidamos com o problema de valores ausentes em nosso conjunto de dados. Removemos as linhas com mais de um valor nulo e imputamos a coluna 'sex' com o valor mais frequente – MALE.