Datan normalisointi on olennainen esikäsittelyvaihe monille klusterointialgoritmeille, kuten K-meansille. Ominaisuudet todellisissa tietoaineistoissa ovat usein eri mittakaavoissa ja yksiköissä. Algoritmit, jotka perustuvat etäisyyksien laskemiseen, kuten K-means, voivat olla vahvasti riippuvaisia suurempien mittakaavojen ominaisuuksista. Normalisoinnin tavoitteena on tuoda kaikki ominaisuudet samalle mittakaavalle, jotta suurempiarvoiset ominaisuudet eivät hallitse klusterointiprosessia.

StandardScaler

StandardScaler standardisoi ominaisuudet poistamalla keskiarvon ja skaalaamalla ne yksikkövarianssiin. Se muuntaa datan niin, että sillä on keskiarvo 0 ja keskihajonta 1. Tämä saavutetaan vähentämällä keskiarvo ja jakamalla keskihajonnalla jokaiselle ominaisuudelle.

StandardScaler on tehokas, kun data on suunnilleen normaalijakautunutta. Sitä käytetään laajasti ja se on usein hyvä oletusnormalisointimenetelmä monille algoritmeille.

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
features = df[['feature1', 'feature2']]

df[['feature1', 'feature2']] = scaler.fit_transform(features)

MinMaxScaler

MinMaxScaler skaalaa ominaisuudet tietylle välille, tyypillisesti 0 ja 1 välille. Se muuntaa datan skaalaamalla ja siirtämällä jokaisen ominaisuuden yksilöllisesti niin, että se on annetulla välillä.

MinMaxScaler on hyödyllinen, kun tarvitset arvoja tietyllä välillä tai kun data ei ole normaalijakautunutta. Se säilyttää alkuperäisen jakauman muodon, vain skaalattuna uudelle välille.

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
features = df[['feature1', 'feature2']]

df[['feature1', 'feature2']] = scaler.fit_transform(features)

Valinta StandardScalerin ja MinMaxScalerin välillä riippuu datasta ja käytettävästä algoritmista. StandardScaler on usein suositeltava algoritmeille kuten K-means, kun ominaisuudet ovat suunnilleen normaalijakautuneita. MinMaxScaler voi olla hyödyllinen, kun tarvitset rajattuja arvoja tai kun data ei ole normaalijakautunutta.