Mallinnuksen Yhteenveto
Olet nyt oppinut rakentamaan mallin, integroimaan sen putkeen ja säätämään hyperparametreja. Kaksi arviointimenetelmää on myös käsitelty: train-test-jako ja ristiinvalidointi.
Seuraava vaihe on yhdistää mallin arviointi ja hyperparametrien säätö käyttäen GridSearchCV- tai RandomizedSearchCV-menetelmää.
Koska aineistomme on hyvin pieni, käytämme GridSearchCV:tä, mutta kaikki alla mainittu pätee myös RandomizedSearchCV:hen.
Tavoitteena on saavuttaa korkein ristiinvalidointipistemäärä aineistolla, sillä ristiinvalidointi on vakaampi ja vähemmän riippuvainen datan jakotavasta kuin train-test-lähestymistapa.
GridSearchCV on suunniteltu juuri tähän tarkoitukseen: se tunnistaa hyperparametrit, joilla saavutetaan paras ristiinvalidointipisteytys, ja tuottaa hienosäädetyn mallin, joka toimii optimaalisesti koulutusdatalla.
.best_score_-attribuutti tallentaa haun aikana löytyneen korkeimman ristiinvalidointipisteytyksen.
Parhaat hyperparametrit yhdelle tietylle tietojoukolle eivät välttämättä ole yleisesti parhaat. Jos uutta dataa lisätään, optimaaliset hyperparametrit voivat muuttua.
Tämän seurauksena saavutettu .best_score_ voi olla korkeampi kuin suorituskyky täysin uudella datalla, sillä hyperparametrit eivät välttämättä yleisty yhtä hyvin koulutusdatan ulkopuolella.
Tyypillisesti tietojoukko jaetaan ensin koulutus- ja testijoukkoon. Ristiinvalidointi suoritetaan koulutusjoukolla mallin hienosäätöä ja parhaan kokoonpanon löytämistä varten. Lopuksi optimoitu malli arvioidaan testijoukolla, joka sisältää täysin näkemätöntä dataa, jotta voidaan arvioida sen todellinen suorituskyky.
Yhteenvetona koko työnkulku koostuu seuraavista vaiheista:
- Datan esikäsittely;
- Tietojoukon jakaminen koulutus- ja testijoukkoon;
- Ristiinvalidoinnin käyttäminen koulutusjoukolla parhaan mallin löytämiseksi;
- Mallin arviointi testijoukolla.
Kolmas vaihe sisältää yleensä useiden algoritmien testaamisen ja niiden hyperparametrien säätämisen parhaan vaihtoehdon tunnistamiseksi. Yksinkertaisuuden vuoksi tässä kurssissa käytettiin vain yhtä algoritmia.
Ennen siirtymistä lopulliseen haasteeseen on tärkeää huomioida, että ristiinvalidointi ei ole ainoa tapa mallien hienosäätöön. Kun tietoaineistot kasvavat suuremmiksi, ristiinvalidointipisteiden laskeminen vie enemmän aikaa, ja tavallinen train-test-jako tarjoaa enemmän vakautta testijoukon suuremman koon ansiosta.
Tästä syystä suuret tietoaineistot jaetaan usein kolmeen osaan: opetusjoukkoon, validointijoukkoon ja testijoukkoon. Malli opetetaan opetusjoukolla ja arvioidaan validointijoukolla, jotta voidaan valita parhaiten suoriutuva malli tai hyperparametrit.
Tässä valinnassa käytetään validointijoukon pisteitä ristiinvalidointipisteiden sijaan. Lopuksi valittu malli arvioidaan testijoukolla, joka koostuu täysin näkemättömästä datasta, jotta voidaan varmistaa sen suorituskyky.
Penguins-aineisto on pieni, sisältäen vain 342 havaintoa. Tämän rajallisen koon vuoksi seuraavassa luvussa arviointiin käytetään ristiinvalidointipistemäärää.
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
Awesome!
Completion rate improved to 3.13Mallinnuksen Yhteenveto
Pyyhkäise näyttääksesi valikon
Olet nyt oppinut rakentamaan mallin, integroimaan sen putkeen ja säätämään hyperparametreja. Kaksi arviointimenetelmää on myös käsitelty: train-test-jako ja ristiinvalidointi.
Seuraava vaihe on yhdistää mallin arviointi ja hyperparametrien säätö käyttäen GridSearchCV- tai RandomizedSearchCV-menetelmää.
Koska aineistomme on hyvin pieni, käytämme GridSearchCV:tä, mutta kaikki alla mainittu pätee myös RandomizedSearchCV:hen.
Tavoitteena on saavuttaa korkein ristiinvalidointipistemäärä aineistolla, sillä ristiinvalidointi on vakaampi ja vähemmän riippuvainen datan jakotavasta kuin train-test-lähestymistapa.
GridSearchCV on suunniteltu juuri tähän tarkoitukseen: se tunnistaa hyperparametrit, joilla saavutetaan paras ristiinvalidointipisteytys, ja tuottaa hienosäädetyn mallin, joka toimii optimaalisesti koulutusdatalla.
.best_score_-attribuutti tallentaa haun aikana löytyneen korkeimman ristiinvalidointipisteytyksen.
Parhaat hyperparametrit yhdelle tietylle tietojoukolle eivät välttämättä ole yleisesti parhaat. Jos uutta dataa lisätään, optimaaliset hyperparametrit voivat muuttua.
Tämän seurauksena saavutettu .best_score_ voi olla korkeampi kuin suorituskyky täysin uudella datalla, sillä hyperparametrit eivät välttämättä yleisty yhtä hyvin koulutusdatan ulkopuolella.
Tyypillisesti tietojoukko jaetaan ensin koulutus- ja testijoukkoon. Ristiinvalidointi suoritetaan koulutusjoukolla mallin hienosäätöä ja parhaan kokoonpanon löytämistä varten. Lopuksi optimoitu malli arvioidaan testijoukolla, joka sisältää täysin näkemätöntä dataa, jotta voidaan arvioida sen todellinen suorituskyky.
Yhteenvetona koko työnkulku koostuu seuraavista vaiheista:
- Datan esikäsittely;
- Tietojoukon jakaminen koulutus- ja testijoukkoon;
- Ristiinvalidoinnin käyttäminen koulutusjoukolla parhaan mallin löytämiseksi;
- Mallin arviointi testijoukolla.
Kolmas vaihe sisältää yleensä useiden algoritmien testaamisen ja niiden hyperparametrien säätämisen parhaan vaihtoehdon tunnistamiseksi. Yksinkertaisuuden vuoksi tässä kurssissa käytettiin vain yhtä algoritmia.
Ennen siirtymistä lopulliseen haasteeseen on tärkeää huomioida, että ristiinvalidointi ei ole ainoa tapa mallien hienosäätöön. Kun tietoaineistot kasvavat suuremmiksi, ristiinvalidointipisteiden laskeminen vie enemmän aikaa, ja tavallinen train-test-jako tarjoaa enemmän vakautta testijoukon suuremman koon ansiosta.
Tästä syystä suuret tietoaineistot jaetaan usein kolmeen osaan: opetusjoukkoon, validointijoukkoon ja testijoukkoon. Malli opetetaan opetusjoukolla ja arvioidaan validointijoukolla, jotta voidaan valita parhaiten suoriutuva malli tai hyperparametrit.
Tässä valinnassa käytetään validointijoukon pisteitä ristiinvalidointipisteiden sijaan. Lopuksi valittu malli arvioidaan testijoukolla, joka koostuu täysin näkemättömästä datasta, jotta voidaan varmistaa sen suorituskyky.
Penguins-aineisto on pieni, sisältäen vain 342 havaintoa. Tämän rajallisen koon vuoksi seuraavassa luvussa arviointiin käytetään ristiinvalidointipistemäärää.
Kiitos palautteestasi!
