Klassen SimpleImputer er designet til at håndtere manglende data ved automatisk at erstatte manglende værdier.

from sklearn.impute import SimpleImputer
imputer = SimpleImputer()

Ved initialisering kan den også tilpasses ved at angive dens parametre:

• missing_value: angiver pladsholderen for de manglende værdier. Som standard er dette np.nan;
• strategy: strategien der bruges til at imputere manglende værdier. 'mean' er standardværdien;
• fill_value: Angiver værdien, der skal bruges til at udfylde manglende værdier, når strategy er 'constant'. Som standard er dette None.

Som transformer har den følgende metoder:

Vi skal dog også vælge værdien, der skal imputes.

En populær tilgang er at imputere manglende numeriske værdier med gennemsnittet og manglende kategoriske værdier med typetallet (den hyppigste værdi), da denne imputering har minimal indflydelse på fordelingen af værdierne.

Tilgangen kan styres ved hjælp af parameteren strategy:

• strategy='mean': imputér med gennemsnittet for hver kolonne;
• strategy='median': imputér med medianen for hver kolonne;
• strategy='most_frequent': imputér med typetallet for hver kolonne;
• strategy='constant': imputér med det konstante tal angivet i parameteren fill_value.

Parameteren missing_values styrer, hvilke værdier der betragtes som manglende. Som standard er det NaN, men i forskellige datasæt kan det være en tom streng '' eller noget andet.

Når du bruger .fit_transform()-metoden fra SimpleImputer, produceres der et 2D-array som output. Når du opdaterer en enkelt kolonne i en pandas DataFrame, skal du dog bruge et 1D-array (eller en Series).

df['column'] = ...  # 1D array or Series expected

imputer.fit_transform(df[['column']])  # Returns a 2D array

For at konvertere 2D-arrayet til et 1D-array, der passer til tildeling til en DataFrame-kolonne, kan du anvende .ravel()-metoden. Denne metode flader arrayet ud. Sådan kan du opdatere en kolonne efter imputering:

df['column'] = imputer.fit_transform(df[['column']]).ravel()

Denne tilgang sikrer, at de imputerede værdier er korrekt formateret og tildelt tilbage til DataFrame'en.

Fremragende! Vi har håndteret problemet med manglende værdier i vores datasæt. Vi fjernede rækkerne med mere end én null og imputerede kolonnen 'sex' med den mest hyppige værdi – MALE.