Oppsummering av Modellering
Du vet nå hvordan du bygger en modell, bruker pipelines og justerer hyperparametere. Du har også lært to evalueringsmetoder: train-test split og kryssvalidering.
Neste steg er å kombinere evaluering og tuning ved å bruke GridSearchCV eller RandomizedSearchCV.
Siden datasettet vårt er lite, vil vi bruke GridSearchCV, men alt som sies nedenfor gjelder også for en RandomizedSearchCV.
Siden kryssvalidering er mer stabilt enn en enkel train-test split, er målet å oppnå høyest mulig kryssvalideringsscore.
GridSearchCV søker gjennom hyperparametere og finner de som maksimerer denne scoren. Den beste scoren lagres i .best_score_.
Hyperparametere som fungerer best for ett datasett, kan ikke generaliseres når nye data kommer inn.
Dermed kan .best_score_ være høyere enn modellens ytelse på helt ukjente data.
En vanlig arbeidsflyt: del opp i trenings- og testsett; kjør kryssvalidering på treningssettet for å justere modellen; evaluer deretter den optimaliserte modellen på testsettet for å måle ytelse i virkelige situasjoner.
Oppsummert:
- Forbehandle dataene;
- Del opp i trenings- og testsett;
- Bruk kryssvalidering på treningssettet for å finne den beste konfigurasjonen;
- Evaluer på testsettet.
Det tredje steget innebærer vanligvis å teste flere algoritmer og justere deres hyperparametre for å identifisere det beste alternativet. For enkelhets skyld ble kun én algoritme brukt i dette kurset.
Kryssvalidering er ikke alltid det beste alternativet. For store datasett blir beregning av CV-score kostbart, mens et trenings- og testsett gir mer stabile resultater takket være et stort testsett.
Store datasett deles ofte inn i treningssett, valideringssett og testsett. Hyperparametre velges basert på ytelsen på valideringssettet. Til slutt evalueres den valgte modellen på testsettet for å verifisere hvor godt den generaliserer.
Penguins-datasettet er lite, med kun 342 forekomster. På grunn av denne begrensede størrelsen vil kryssvalideringsscore bli brukt til evaluering i neste kapittel.
Takk for tilbakemeldingene dine!
Spør AI
Spør AI
Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår
Awesome!
Completion rate improved to 3.13Oppsummering av Modellering
Sveip for å vise menyen
Du vet nå hvordan du bygger en modell, bruker pipelines og justerer hyperparametere. Du har også lært to evalueringsmetoder: train-test split og kryssvalidering.
Neste steg er å kombinere evaluering og tuning ved å bruke GridSearchCV eller RandomizedSearchCV.
Siden datasettet vårt er lite, vil vi bruke GridSearchCV, men alt som sies nedenfor gjelder også for en RandomizedSearchCV.
Siden kryssvalidering er mer stabilt enn en enkel train-test split, er målet å oppnå høyest mulig kryssvalideringsscore.
GridSearchCV søker gjennom hyperparametere og finner de som maksimerer denne scoren. Den beste scoren lagres i .best_score_.
Hyperparametere som fungerer best for ett datasett, kan ikke generaliseres når nye data kommer inn.
Dermed kan .best_score_ være høyere enn modellens ytelse på helt ukjente data.
En vanlig arbeidsflyt: del opp i trenings- og testsett; kjør kryssvalidering på treningssettet for å justere modellen; evaluer deretter den optimaliserte modellen på testsettet for å måle ytelse i virkelige situasjoner.
Oppsummert:
- Forbehandle dataene;
- Del opp i trenings- og testsett;
- Bruk kryssvalidering på treningssettet for å finne den beste konfigurasjonen;
- Evaluer på testsettet.
Det tredje steget innebærer vanligvis å teste flere algoritmer og justere deres hyperparametre for å identifisere det beste alternativet. For enkelhets skyld ble kun én algoritme brukt i dette kurset.
Kryssvalidering er ikke alltid det beste alternativet. For store datasett blir beregning av CV-score kostbart, mens et trenings- og testsett gir mer stabile resultater takket være et stort testsett.
Store datasett deles ofte inn i treningssett, valideringssett og testsett. Hyperparametre velges basert på ytelsen på valideringssettet. Til slutt evalueres den valgte modellen på testsettet for å verifisere hvor godt den generaliserer.
Penguins-datasettet er lite, med kun 342 forekomster. På grunn av denne begrensede størrelsen vil kryssvalideringsscore bli brukt til evaluering i neste kapittel.
Takk for tilbakemeldingene dine!
