Summary  
This chapter explains how to apply k-Nearest Neighbors using multiple features by scaling each feature (e.g., with StandardScaler) so that distance calculations reflect all features equally, and describes how the neighborhood generalizes to spheres in higher dimensions.

General domain of usage  
Supervised classification tasks

Nyt ymmärrät, miten **k-NN** toimii yhdellä ominaisuudella. Siirrytään hieman monimutkaisempaan esimerkkiin, jossa käytetään kahta ominaisuutta: **weight** ja **width**.

Tässä tapauksessa naapureiden etsiminen perustuu **sekä width että weight** -ominaisuuksiin. Tässä on kuitenkin pieni ongelma. Piirretään makeiset ja katsotaan, mikä menee pieleen:

Voit nähdä, että weight vaihtelee välillä **12**–**64**, kun taas width on vain välillä **5**–**12**. Koska widthin vaihteluväli on paljon pienempi, makeiset näyttävät lähes pystysuoraan linjassa. Jos laskemme etäisyydet nyt, ne heijastavat pääasiassa **weightin eroja**, aivan kuin widthiä ei olisi huomioitu ollenkaan.

Tähän on kuitenkin ratkaisu – **datan skaalaus**.

Nyt sekä paino että leveys ovat samalla asteikolla ja **keskitetty nollan ympärille**. Tämän voi saavuttaa `StandardScaler`-luokalla kirjastosta `sklearn`. `StandardScaler` vain vähentää **otoksen keskiarvon** ja jakaa tuloksen **otoksen keskihajonnalla**:
$$
X_{scaled} = \frac{X - \bar x}{s}
$$


`StandardScaler` keskittää datan **nollan** ympärille. Vaikka keskittäminen ei ole **pakollista** k-NN:lle ja voi aiheuttaa hämmennystä, kuten "miten paino voi olla negatiivinen", se on vain tapa esittää data tietokoneelle. Jotkut mallit vaativat **keskittämistä**, joten `StandardScaler`-luokan käyttö skaalaamiseen oletuksena on suositeltavaa.

Itse asiassa data tulisi **aina** skaalata ennen k-lähimmän naapurin algoritmin käyttöä. Kun data on skaalattu, voimme nyt etsiä naapurit:

Kahden ominaisuuden tapauksessa k-NN määrittelee **ympyrämäisen naapuruuden**, joka sisältää halutun määrän naapureita. Kolmen ominaisuuden tapauksessa tästä muodostuu **pallo**. Korkeammissa ulottuvuuksissa naapuruuden muoto muuttuu monimutkaisemmaksi eikä sitä voi visualisoida, mutta **laskentaperiaatteet pysyvät samoina**.

Hallitse keskeiset luokittelualgoritmit, jotka ovat modernin koneoppimisen ytimessä. Tutustu siihen, miten mallit kuten k-NN, logistinen regressio, päätöspuut ja satunnaismetsät tekevät ennusteita, arvioi niiden tarkkuutta ja ymmärrä, milloin kutakin kannattaa käyttää. Kehitä taitoja vertailla malleja ja valita paras vaihtoehto aineistosi perusteella.

Opi, miten k-lähimmän naapurin algoritmi tekee ennusteita samankaltaisuuden perusteella. Sisältää useiden piirteiden käsittelyn, parametrien säätämisen ja ristiinvalidoinnin hyödyntämisen tarkkuuden parantamiseksi.

Ymmärrä, miten logistinen regressio mallintaa todennäköisyyksiä ja luokittelee tuloksia. Harjoittele sen toteuttamista, päätösrajojen tulkintaa sekä regularisoinnin soveltamista ylisovittamisen estämiseksi.

Opi, kuinka päätöspuut jakavat dataa merkityksellisiin ryhmiin ominaisuuksien arvojen perusteella. Tutustu siihen, miten parametrit, kuten puun syvyys ja lehden miniminäytteiden määrä, vaikuttavat mallin suorituskykyyn ja yleistettävyyteen.

Tutustu siihen, miten satunnaismetsät yhdistävät useita päätöspuita parantaakseen tarkkuutta ja vankkuutta. Ymmärrä satunnaisuuden rooli ja sovella tätä yhdistelmämallia reaalimaailman dataan.

Mallien arviointi mittareilla, kuten tarkkuus, precision, recall ja F1-pisteet. Sekamatriksien tulkinta ja useiden luokittelijoiden vertailu parhaan mallin tunnistamiseksi.

K-NN Useilla Ominaisuuksilla