Ylisovittaminen ja Regularisointi
Kuten edellisessä luvussa osoitettiin, käyttämällä PolynomialFeatures-toimintoa voit luoda monimutkaisen päätösrajan. Toisen asteen polynomiset piirteet voivat tuottaa alla olevan kuvan mukaisia rajoja:
Ja kyseessä on vain toinen aste. Korkeampi aste voi tuottaa vielä monimutkaisempia muotoja. Tässä piilee kuitenkin ongelma. Logistisen regressiomallin rakentama päätösraja voi muodostua liian monimutkaiseksi, mikä johtaa mallin ylisovittamiseen.
Ylisovittaminen tarkoittaa, että malli rakentaa hyvin monimutkaisen päätösrajan käsitelläkseen jokaisen harjoitusaineiston tapauksen erikseen sen sijaan, että oppisi yleisiä piirteitä datasta. Tällöin malli ei suoriudu yhtä hyvin aiemmin näkemättömällä datalla, vaikka koneoppimismallin ensisijainen tehtävä on toimia hyvin uudella datalla.
Regularisointi ratkaisee ylisovittamisen ongelman. Itse asiassa l2-regularisointia käytetään oletuksena LogisticRegression-luokassa. Sinun täytyy kuitenkin määrittää, kuinka voimakkaasti mallia regularisoidaan. Tätä säädetään C-parametrilla:
- suurempi
C– heikompi regularisointi, enemmän ylioppimista; - pienempi
C– vahvempi regularisointi, vähemmän ylioppimista (mutta mahdollisesti alioppimista).
Millaiset C:n arvot tuottavat hyvän mallin riippuu aineistosta, joten on parempi valita se käyttämällä GridSearchCV-menetelmää.
Kun käytät logistista regressiota regularisoinnin kanssa, on tärkeää skaalata datasi. Regularisointi rankaisee suuria kertoimia, ja ilman skaalausta suuremmat piirteet voivat vääristää tuloksia. Itse asiassa skaalaus on lähes aina tarpeellista – jopa silloin, kun regularisointia ei käytetä.
LogisticRegression-luokka sisältää oletuksena regularisoinnin, joten sinun tulisi joko poistaa regularisointi (asettamalla penalty=None) tai skaalaa data (esim. käyttämällä StandardScaler).
Jos käytät sekä PolynomialFeatures että StandardScaler, varmista että käytät StandardScaler-skaalausta polynomisten piirteiden luonnin jälkeen. Datan skaalaaminen ennen polynomista laajennusta voi vääristää syntyviä piirteitä, koska esimerkiksi neliöinti tai kertolasku jo standardoiduilla arvoilla voi johtaa epäluonnollisiin jakaumiin.
1. Valitse VÄÄRÄ väittämä.
2. Mikä on oikea järjestys datan esikäsittelyyn
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
Mahtavaa!
Completion arvosana parantunut arvoon 3.33Ylisovittaminen ja Regularisointi
Pyyhkäise näyttääksesi valikon
Kuten edellisessä luvussa osoitettiin, käyttämällä PolynomialFeatures-toimintoa voit luoda monimutkaisen päätösrajan. Toisen asteen polynomiset piirteet voivat tuottaa alla olevan kuvan mukaisia rajoja:
Ja kyseessä on vain toinen aste. Korkeampi aste voi tuottaa vielä monimutkaisempia muotoja. Tässä piilee kuitenkin ongelma. Logistisen regressiomallin rakentama päätösraja voi muodostua liian monimutkaiseksi, mikä johtaa mallin ylisovittamiseen.
Ylisovittaminen tarkoittaa, että malli rakentaa hyvin monimutkaisen päätösrajan käsitelläkseen jokaisen harjoitusaineiston tapauksen erikseen sen sijaan, että oppisi yleisiä piirteitä datasta. Tällöin malli ei suoriudu yhtä hyvin aiemmin näkemättömällä datalla, vaikka koneoppimismallin ensisijainen tehtävä on toimia hyvin uudella datalla.
Regularisointi ratkaisee ylisovittamisen ongelman. Itse asiassa l2-regularisointia käytetään oletuksena LogisticRegression-luokassa. Sinun täytyy kuitenkin määrittää, kuinka voimakkaasti mallia regularisoidaan. Tätä säädetään C-parametrilla:
- suurempi
C– heikompi regularisointi, enemmän ylioppimista; - pienempi
C– vahvempi regularisointi, vähemmän ylioppimista (mutta mahdollisesti alioppimista).
Millaiset C:n arvot tuottavat hyvän mallin riippuu aineistosta, joten on parempi valita se käyttämällä GridSearchCV-menetelmää.
Kun käytät logistista regressiota regularisoinnin kanssa, on tärkeää skaalata datasi. Regularisointi rankaisee suuria kertoimia, ja ilman skaalausta suuremmat piirteet voivat vääristää tuloksia. Itse asiassa skaalaus on lähes aina tarpeellista – jopa silloin, kun regularisointia ei käytetä.
LogisticRegression-luokka sisältää oletuksena regularisoinnin, joten sinun tulisi joko poistaa regularisointi (asettamalla penalty=None) tai skaalaa data (esim. käyttämällä StandardScaler).
Jos käytät sekä PolynomialFeatures että StandardScaler, varmista että käytät StandardScaler-skaalausta polynomisten piirteiden luonnin jälkeen. Datan skaalaaminen ennen polynomista laajennusta voi vääristää syntyviä piirteitä, koska esimerkiksi neliöinti tai kertolasku jo standardoiduilla arvoilla voi johtaa epäluonnollisiin jakaumiin.
1. Valitse VÄÄRÄ väittämä.
2. Mikä on oikea järjestys datan esikäsittelyyn
Kiitos palautteestasi!
