Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.Oppiskele Mallin Arviointi | Neuroverkon Rakentaminen Alusta Alkaen
Johdatus Neuroverkkoihin Pythonilla

bookMallin Arviointi

Datan jakaminen

Neuroverkon kouluttamisen jälkeen on olennaista arvioida sen suorituskykyä näkemättömällä datalla. Tämä arviointi auttaa selvittämään, onko malli oppinut merkityksellisiä rakenteita vai ainoastaan ulkoa opetusesimerkit. Tätä varten aineisto jaetaan kahteen osaan:

  • Opetusjoukko — käytetään neuroverkon kouluttamiseen säätämällä sen painoja ja bias-arvoja takaisinkytkennän avulla;
  • Testijoukko — käytetään koulutuksen jälkeen arvioimaan, kuinka hyvin malli yleistää uuteen, näkemättömään dataan.

Yleinen jako on 80 % opetukseen ja 20 % testaukseen, mutta suhde voi vaihdella aineiston koon ja monimutkaisuuden mukaan.

Datan jako tehdään tyypillisesti train_test_split()-funktiolla, joka löytyy sklearn.model_selection -moduulista:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=...)

test_size-parametri määrittää testaukseen varatun datan osuuden. Esimerkiksi, kun test_size=0.1, 10 % datasta käytetään testaukseen ja 90 % opetukseen.

Jos malli suoriutuu hyvin opetusdatalla mutta huonosti testidatalla, kyseessä voi olla ylisovittaminen — malli oppii liian tarkasti opetusdatan piirteet eikä yleisty uusiin esimerkkeihin. Tavoitteena on saavuttaa vahva suorituskyky molemmilla aineistoilla, jotta malli yleistyy hyvin.

Kun data on jaettu ja malli koulutettu, suorituskyky tulee mitata sopivilla arviointimittareilla, jotka riippuvat luokittelutehtävästä.

Luokittelumittarit

Luokitteluongelmissa mallin ennusteiden arviointiin voidaan käyttää useita keskeisiä mittareita:

  • Tarkkuus;
  • Precision (osuvuus);
  • Recall (herkkyys);
  • F1-pisteet.

Koska perceptroni suorittaa binääriluokittelua, sekaannusmatriisin laatiminen auttaa ymmärtämään näitä mittareita paremmin.

Note
Määritelmä

Sekaannusmatriisi on taulukko, joka tiivistää mallin luokittelusuorituskyvyn vertaamalla ennustettuja luokkia todellisiin luokkiin. Se antaa tietoa oikeiden ja väärien ennusteiden määrästä kummallekin luokalle (1 ja 0).

Tarkkuus mittaa oikein luokiteltujen näytteiden osuuden kaikista näytteistä. Jos malli luokittelee oikein 90 sadasta kuvasta, sen tarkkuus on 90 %.

accuracy=correctall=TP+TNTP+TN+FP+FN\text{accuracy} = \frac {\text{correct}} {\text{all}} = \frac {TP + TN} {TP + TN + FP + FN}

Vaikka tarkkuus on hyödyllinen mittari, se ei aina anna kattavaa kuvaa—erityisesti epätasapainoisissa aineistoissa. Esimerkiksi aineistossa, jossa 95 % näytteistä kuuluu yhteen luokkaan, malli voi saavuttaa 95 % tarkkuuden ennustamalla aina enemmistöluokan—ilman, että se oppii mitään hyödyllistä. Tällaisissa tapauksissa tarkkuus, recall tai F1-pisteet voivat olla informatiivisempia.

Tarkkuus (precision) on oikein ennustettujen positiivisten tapausten osuus kaikista ennustetuista positiivisista. Tämä mittari on erityisen hyödyllinen, kun väärät positiiviset ovat kalliita, kuten roskapostin tai petosten tunnistuksessa.

precision=correct positivepredicted positive=TPTP+FP\text{precision} = \frac {\text{correct positive}} {\text{predicted positive}} = \frac {TP} {TP + FP}

Recall (herkkyys) mittaa, kuinka monta todellisista positiivisista tapauksista malli tunnistaa oikein. Korkea recall on tärkeää tilanteissa, joissa vääriä negatiivisia tulee välttää, kuten lääketieteellisissä diagnooseissa.

recall=correct positiveall positive=TPTP+FN\text{recall} = \frac {\text{correct positive}} {\text{all positive}} = \frac {TP} {TP + FN}

F1-pisteet ovat harmoninen keskiarvo tarkkuudesta ja palautuksesta, tarjoten tasapainoisen mittarin silloin, kun sekä väärät positiiviset että väärät negatiiviset ovat merkityksellisiä. Tämä on hyödyllistä, kun aineisto on epätasapainoinen, eli toinen luokka esiintyy huomattavasti useammin kuin toinen.

F1=2×precision×recallprecision+recall\text{F1} = \frac {2 \times \text{precision} \times \text{recall}} {\text{precision} + \text{recall}}

1. Mikä on tärkein syy jakaa aineisto opetus- ja testijoukkoihin?

2. Miksi F1-pisteet voivat olla parempi valinta kuin tarkkuus epätasapainoisessa aineistossa?

question mark

Mikä on tärkein syy jakaa aineisto opetus- ja testijoukkoihin?

Select the correct answer

question mark

Miksi F1-pisteet voivat olla parempi valinta kuin tarkkuus epätasapainoisessa aineistossa?

Select the correct answer

Oliko kaikki selvää?

Miten voimme parantaa sitä?

Kiitos palautteestasi!

Osio 2. Luku 11

Kysy tekoälyä

expand

Kysy tekoälyä

ChatGPT

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Suggested prompts:

Can you explain what a confusion matrix is and how to interpret it?

How do I choose which evaluation metric to use for my classification problem?

Can you give examples of when to prioritize precision over recall, or vice versa?

Awesome!

Completion rate improved to 4

bookMallin Arviointi

Pyyhkäise näyttääksesi valikon

Datan jakaminen

Neuroverkon kouluttamisen jälkeen on olennaista arvioida sen suorituskykyä näkemättömällä datalla. Tämä arviointi auttaa selvittämään, onko malli oppinut merkityksellisiä rakenteita vai ainoastaan ulkoa opetusesimerkit. Tätä varten aineisto jaetaan kahteen osaan:

  • Opetusjoukko — käytetään neuroverkon kouluttamiseen säätämällä sen painoja ja bias-arvoja takaisinkytkennän avulla;
  • Testijoukko — käytetään koulutuksen jälkeen arvioimaan, kuinka hyvin malli yleistää uuteen, näkemättömään dataan.

Yleinen jako on 80 % opetukseen ja 20 % testaukseen, mutta suhde voi vaihdella aineiston koon ja monimutkaisuuden mukaan.

Datan jako tehdään tyypillisesti train_test_split()-funktiolla, joka löytyy sklearn.model_selection -moduulista:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=...)

test_size-parametri määrittää testaukseen varatun datan osuuden. Esimerkiksi, kun test_size=0.1, 10 % datasta käytetään testaukseen ja 90 % opetukseen.

Jos malli suoriutuu hyvin opetusdatalla mutta huonosti testidatalla, kyseessä voi olla ylisovittaminen — malli oppii liian tarkasti opetusdatan piirteet eikä yleisty uusiin esimerkkeihin. Tavoitteena on saavuttaa vahva suorituskyky molemmilla aineistoilla, jotta malli yleistyy hyvin.

Kun data on jaettu ja malli koulutettu, suorituskyky tulee mitata sopivilla arviointimittareilla, jotka riippuvat luokittelutehtävästä.

Luokittelumittarit

Luokitteluongelmissa mallin ennusteiden arviointiin voidaan käyttää useita keskeisiä mittareita:

  • Tarkkuus;
  • Precision (osuvuus);
  • Recall (herkkyys);
  • F1-pisteet.

Koska perceptroni suorittaa binääriluokittelua, sekaannusmatriisin laatiminen auttaa ymmärtämään näitä mittareita paremmin.

Note
Määritelmä

Sekaannusmatriisi on taulukko, joka tiivistää mallin luokittelusuorituskyvyn vertaamalla ennustettuja luokkia todellisiin luokkiin. Se antaa tietoa oikeiden ja väärien ennusteiden määrästä kummallekin luokalle (1 ja 0).

Tarkkuus mittaa oikein luokiteltujen näytteiden osuuden kaikista näytteistä. Jos malli luokittelee oikein 90 sadasta kuvasta, sen tarkkuus on 90 %.

accuracy=correctall=TP+TNTP+TN+FP+FN\text{accuracy} = \frac {\text{correct}} {\text{all}} = \frac {TP + TN} {TP + TN + FP + FN}

Vaikka tarkkuus on hyödyllinen mittari, se ei aina anna kattavaa kuvaa—erityisesti epätasapainoisissa aineistoissa. Esimerkiksi aineistossa, jossa 95 % näytteistä kuuluu yhteen luokkaan, malli voi saavuttaa 95 % tarkkuuden ennustamalla aina enemmistöluokan—ilman, että se oppii mitään hyödyllistä. Tällaisissa tapauksissa tarkkuus, recall tai F1-pisteet voivat olla informatiivisempia.

Tarkkuus (precision) on oikein ennustettujen positiivisten tapausten osuus kaikista ennustetuista positiivisista. Tämä mittari on erityisen hyödyllinen, kun väärät positiiviset ovat kalliita, kuten roskapostin tai petosten tunnistuksessa.

precision=correct positivepredicted positive=TPTP+FP\text{precision} = \frac {\text{correct positive}} {\text{predicted positive}} = \frac {TP} {TP + FP}

Recall (herkkyys) mittaa, kuinka monta todellisista positiivisista tapauksista malli tunnistaa oikein. Korkea recall on tärkeää tilanteissa, joissa vääriä negatiivisia tulee välttää, kuten lääketieteellisissä diagnooseissa.

recall=correct positiveall positive=TPTP+FN\text{recall} = \frac {\text{correct positive}} {\text{all positive}} = \frac {TP} {TP + FN}

F1-pisteet ovat harmoninen keskiarvo tarkkuudesta ja palautuksesta, tarjoten tasapainoisen mittarin silloin, kun sekä väärät positiiviset että väärät negatiiviset ovat merkityksellisiä. Tämä on hyödyllistä, kun aineisto on epätasapainoinen, eli toinen luokka esiintyy huomattavasti useammin kuin toinen.

F1=2×precision×recallprecision+recall\text{F1} = \frac {2 \times \text{precision} \times \text{recall}} {\text{precision} + \text{recall}}

1. Mikä on tärkein syy jakaa aineisto opetus- ja testijoukkoihin?

2. Miksi F1-pisteet voivat olla parempi valinta kuin tarkkuus epätasapainoisessa aineistossa?

question mark

Mikä on tärkein syy jakaa aineisto opetus- ja testijoukkoihin?

Select the correct answer

question mark

Miksi F1-pisteet voivat olla parempi valinta kuin tarkkuus epätasapainoisessa aineistossa?

Select the correct answer

Oliko kaikki selvää?

Miten voimme parantaa sitä?

Kiitos palautteestasi!

Osio 2. Luku 11
some-alt