Summary  
This chapter explains how to evaluate and choose the best split at decision nodes by computing Gini impurity or entropy and selecting the feature–threshold pair that minimizes the weighted impurity (maximizes information gain).

General domain of usage  
Classification tasks in machine learning

Koulutuksen aikana on löydettävä **paras jako jokaisessa päätössolmussa**. Kun jaamme datan kahteen solmuun, tavoitteena on, että eri luokat sijoittuvat eri solmuihin.

- **Paras mahdollinen tilanne:** kaikki solmun datapisteet kuuluvat samaan luokkaan;
- **Huonoin mahdollinen tilanne:** jokaisessa luokassa on yhtä monta datapistettä.

## Gini-epäpuhtaus

Jakamisen laatua voidaan mitata **Gini-epäpuhtaudella**. Se on todennäköisyys, että jos **satunnaisesti** valitaan kaksi pistettä solmusta (palauttaen), ne kuuluvat **eri luokkiin**. Mitä pienempi tämä todennäköisyys (epäpuhtaus) on, sitä parempi jako.

Gini-epäpuhtauden voi laskea **binääriluokittelussa** seuraavalla kaavalla:
$$
\text{gini} = 1 - p_0^2 - p_1^2 = 1 - (\frac{m_0}{m})^2 - (\frac{m_1}{m})^2
$$

Missä
- $$m_i$$ – luokan $$i$$ havaintojen määrä solmussa;
- $$m$$ – havaintojen määrä solmussa;
- $$p_i = \frac{m_i}{m}$$ – todennäköisyys valita luokka $$i$$.

Ja **moniluokkaluokittelussa** kaava on:
$$
\text{gini} = 1 - \sum_{i=0}^C p_i^2 = 1 - \sum_{i=0}^C(\frac{m_i}{m})^2
$$

Missä
- $$C$$ – luokkien määrä.

Voimme mitata jaon laatua laskemalla **Gini-arvojen painotetun summan** molemmille solmuille, jotka syntyvät jaosta. Tätä arvoa halutaan **minimoida**.

Päätössolmun jakamiseksi täytyy löytää ominaisuus, jonka perusteella jaetaan, sekä kynnysarvo:

Päätössolmussa algoritmi etsii **ahneesti** parhaan kynnysarvon jokaiselle piirteelle. Tämän jälkeen se valitsee jaon, jolla on **alin Gini-epäpuhtaus** kaikista piirteistä (tasatilanteessa valinta tehdään satunnaisesti).

## Entropia

**Entropia** on toinen epäpuhtauden mittari. Binäärisessä luokitteluongelmassa solmun entropia $$H$$ lasketaan kaavalla:

$$
H(p) = -p \log_2(p) - (1 - p) \log_2(1 - p)
$$

missä:

- $$p$$ on positiivisten esimerkkien osuus (luokka 1);
- $$1 - p$$ on negatiivisten esimerkkien osuus (luokka 0).

**Moniluokkaluokittelussa** solmun entropia $$H$$ lasketaan kaavalla:

$$
H(p_1, p_2, \dots, p_k) = -\sum_{i=1}^{k} p_i \log_2(p_i)
$$

missä:

- $$k$$ on luokkien määrä;
- $$p_i$$ on solmussa luokkaan $$i$$ kuuluvien esimerkkien osuus.

Samoin kuin Gini-epäpuhtauden kohdalla, voimme mitata jaon laatua laskemalla **lasten solmujen entropia-arvojen painotetun summan** jaosta saaduille solmuille. Tätä arvoa halutaan **minimoida** jotta **informaation määrä kasvaisi mahdollisimman paljon**.

Entropia on **maksimissaan** kun kaikki luokat ovat yhtä edustettuina. Se on **minimissään** (0) kun kaikki esimerkit kuuluvat **yhteen luokkaan** (puhdas solmu).

Huomio

Hallitse keskeiset luokittelualgoritmit, jotka ovat modernin koneoppimisen ytimessä. Tutustu siihen, miten mallit kuten k-NN, logistinen regressio, päätöspuut ja satunnaismetsät tekevät ennusteita, arvioi niiden tarkkuutta ja ymmärrä, milloin kutakin kannattaa käyttää. Kehitä taitoja vertailla malleja ja valita paras vaihtoehto aineistosi perusteella.

Opi, miten k-lähimmän naapurin algoritmi tekee ennusteita samankaltaisuuden perusteella. Sisältää useiden piirteiden käsittelyn, parametrien säätämisen ja ristiinvalidoinnin hyödyntämisen tarkkuuden parantamiseksi.

Ymmärrä, miten logistinen regressio mallintaa todennäköisyyksiä ja luokittelee tuloksia. Harjoittele sen toteuttamista, päätösrajojen tulkintaa sekä regularisoinnin soveltamista ylisovittamisen estämiseksi.

Opi, kuinka päätöspuut jakavat dataa merkityksellisiin ryhmiin ominaisuuksien arvojen perusteella. Tutustu siihen, miten parametrit, kuten puun syvyys ja lehden miniminäytteiden määrä, vaikuttavat mallin suorituskykyyn ja yleistettävyyteen.

Tutustu siihen, miten satunnaismetsät yhdistävät useita päätöspuita parantaakseen tarkkuutta ja vankkuutta. Ymmärrä satunnaisuuden rooli ja sovella tätä yhdistelmämallia reaalimaailman dataan.

Mallien arviointi mittareilla, kuten tarkkuus, precision, recall ja F1-pisteet. Sekamatriksien tulkinta ja useiden luokittelijoiden vertailu parhaan mallin tunnistamiseksi.

Solmujen Jakaminen

Gini-epäpuhtaus

Entropia