Normalisatie van gegevens is een cruciale pre-processing stap voor veel clustering-algoritmen, waaronder K-means. Kenmerken in echte datasets hebben vaak verschillende schalen en eenheden. Algoritmen die afhankelijk zijn van afstandsbepalingen, zoals K-means, kunnen sterk worden beïnvloed door kenmerken met grotere schalen. Normalisatie heeft als doel om alle kenmerken op een vergelijkbare schaal te brengen, zodat kenmerken met grotere waarden het clusteringsproces niet domineren.

StandardScaler

StandardScaler standaardiseert kenmerken door het gemiddelde te verwijderen en te schalen naar een variantie van één. Het transformeert gegevens zodat ze een gemiddelde van 0 en een standaardafwijking van 1 hebben. Dit wordt bereikt door het gemiddelde af te trekken en te delen door de standaardafwijking voor elk kenmerk.

StandardScaler is effectief wanneer de gegevens ongeveer normaal verdeeld zijn. Het wordt veel gebruikt en is vaak een goede standaard normalisatiemethode voor veel algoritmen.

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
features = df[['feature1', 'feature2']]

df[['feature1', 'feature2']] = scaler.fit_transform(features)

MinMaxScaler

MinMaxScaler schaalt kenmerken naar een specifiek bereik, meestal tussen 0 en 1. Het transformeert gegevens door elk kenmerk afzonderlijk te schalen en te verschuiven zodat het binnen het opgegeven bereik valt.

MinMaxScaler is nuttig wanneer waarden binnen een specifiek bereik nodig zijn, of wanneer de gegevens niet normaal verdeeld zijn. Het behoudt de vorm van de oorspronkelijke verdeling, maar schaalt deze naar het nieuwe bereik.

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
features = df[['feature1', 'feature2']]

df[['feature1', 'feature2']] = scaler.fit_transform(features)

De keuze tussen StandardScaler en MinMaxScaler hangt af van de gegevens en het specifieke algoritme. StandardScaler heeft vaak de voorkeur bij algoritmen zoals K-means wanneer kenmerken ongeveer normaal verdeeld zijn. MinMaxScaler kan nuttig zijn wanneer begrensde waarden nodig zijn of wanneer gegevens niet normaal verdeeld zijn.