Oppiskele Solmujen Jakaminen

Koulutuksen aikana on löydettävä paras jako jokaisessa päätössolmussa. Kun jaamme datan kahteen solmuun, tavoitteena on, että eri luokat sijoittuvat eri solmuihin.

Paras tapaus: kaikki solmun datapisteet kuuluvat samaan luokkaan;
Huonoin tapaus: jokaisessa luokassa on yhtä monta datapistettä.

Gini-epäpuhtaus

Jakamisen laadun mittaamiseen voidaan laskea Gini-epäpuhtaus. Se on todennäköisyys, että jos satunnaisesti valitaan kaksi pistettä solmusta (palauttaen), ne kuuluvat eri luokkiin. Mitä pienempi tämä todennäköisyys (epäpuhtaus) on, sitä parempi jako.

Gini-epäpuhtauden laskeminen binääriluokittelussa tapahtuu seuraavalla kaavalla:

\text{gini} = 1 - p_0^2 - p_1^2 = 1 - (\frac{m_0}{m})^2 - (\frac{m_1}{m})^2

Missä

$m_i$ – luokan $i$ havaintojen määrä solmussa;
$m$ – havaintojen määrä solmussa;
$p_i = \frac{m_i}{m}$ – todennäköisyys valita luokka $i$ .

Ja moniluokkaluokittelussa kaava on:

\text{gini} = 1 - \sum_{i=0}^C p_i^2 = 1 - \sum_{i=0}^C(\frac{m_i}{m})^2

Missä

$C$ – luokkien määrä.

Voimme mitata jaon laatua laskemalla Gini-arvojen painotetun summan molemmille solmuille, jotka syntyvät jaosta. Tätä arvoa pyritään minimoimaan.

Päätössolmun jakamiseksi on löydettävä ominaisuus, jonka perusteella jakaminen tehdään, sekä kynnysarvo:

Päätössolmussa algoritmi etsii ahneesti parhaan kynnysarvon jokaiselle piirteelle. Tämän jälkeen se valitsee jaon, jolla on alin Gini-epäpuhtaus kaikista piirteistä (tasatilanteessa valinta tehdään satunnaisesti).

Entropia

Entropia on toinen epäpuhtauden mittari. Binäärisessä luokitteluongelmassa solmun entropia $H$ lasketaan kaavalla:

H(p) = -p \log_2(p) - (1 - p) \log_2(1 - p)

missä:

$p$ on positiivisten esimerkkien osuus (luokka 1);
$1 - p$ on negatiivisten esimerkkien osuus (luokka 0).

Moniluokkaisessa luokitteluongelmassa solmun entropia $H$ lasketaan kaavalla:

H(p_1, p_2, \dots, p_k) = -\sum_{i=1}^{k} p_i \log_2(p_i)

missä:

$k$ on luokkien määrä;
$p_i$ on solmussa luokkaan $i$ kuuluvien esimerkkien osuus.

Samoin kuin Gini-epäpuhtauden kohdalla, jaon laatua voidaan mitata laskemalla lasten solmujen entropia-arvojen painotettu summa. Tätä arvoa pyritään minimoimaan informaation määrän kasvattamiseksi.

Huomio

Entropia on maksimissaan, kun kaikki luokat ovat yhtä edustettuina. Se on minimissään (0), kun kaikki esimerkit kuuluvat yhteen luokkaan (puhdas solmu).

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 1. Luku 28

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Pyyhkäise näyttääksesi valikon

Koulutuksen aikana on löydettävä paras jako jokaisessa päätössolmussa. Kun jaamme datan kahteen solmuun, tavoitteena on, että eri luokat sijoittuvat eri solmuihin.

Paras tapaus: kaikki solmun datapisteet kuuluvat samaan luokkaan;
Huonoin tapaus: jokaisessa luokassa on yhtä monta datapistettä.

Gini-epäpuhtaus

Gini-epäpuhtauden laskeminen binääriluokittelussa tapahtuu seuraavalla kaavalla:

\text{gini} = 1 - p_0^2 - p_1^2 = 1 - (\frac{m_0}{m})^2 - (\frac{m_1}{m})^2

Missä

$m_i$ – luokan $i$ havaintojen määrä solmussa;
$m$ – havaintojen määrä solmussa;
$p_i = \frac{m_i}{m}$ – todennäköisyys valita luokka $i$ .

Ja moniluokkaluokittelussa kaava on:

\text{gini} = 1 - \sum_{i=0}^C p_i^2 = 1 - \sum_{i=0}^C(\frac{m_i}{m})^2

Missä

$C$ – luokkien määrä.

Voimme mitata jaon laatua laskemalla Gini-arvojen painotetun summan molemmille solmuille, jotka syntyvät jaosta. Tätä arvoa pyritään minimoimaan.

Päätössolmun jakamiseksi on löydettävä ominaisuus, jonka perusteella jakaminen tehdään, sekä kynnysarvo:

Entropia

Entropia on toinen epäpuhtauden mittari. Binäärisessä luokitteluongelmassa solmun entropia $H$ lasketaan kaavalla:

H(p) = -p \log_2(p) - (1 - p) \log_2(1 - p)

missä:

$p$ on positiivisten esimerkkien osuus (luokka 1);
$1 - p$ on negatiivisten esimerkkien osuus (luokka 0).

Moniluokkaisessa luokitteluongelmassa solmun entropia $H$ lasketaan kaavalla:

H(p_1, p_2, \dots, p_k) = -\sum_{i=1}^{k} p_i \log_2(p_i)

missä:

$k$ on luokkien määrä;
$p_i$ on solmussa luokkaan $i$ kuuluvien esimerkkien osuus.

Huomio

Entropia on maksimissaan, kun kaikki luokat ovat yhtä edustettuina. Se on minimissään (0), kun kaikki esimerkit kuuluvat yhteen luokkaan (puhdas solmu).

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 1. Luku 28