Sammendrag

For å oppsummere har du lært fire algoritmer: k-NN, logistisk regresjon, beslutningstre, og Random Forest. Hver av disse har sine egne fordeler og ulemper, som ble diskutert på slutten av de respektive seksjonene.

Følgende visualisering illustrerer hvordan hver algoritme presterer på ulike syntetiske datasett:

Her gjelder at jo dypere fargen er, desto mer sikker er modellen i sine prediksjoner.

Du vil legge merke til at hvert datasett har en forskjellig modell som presterer best. Det er vanskelig å vite på forhånd hvilken modell som vil fungere bedre, så den beste tilnærmingen er å prøve flere. Dette er ideen bak No Free Lunch Theorem.

I noen situasjoner kan imidlertid din forståelse av algoritmene hjelpe deg å utelukke visse modeller på forhånd hvis de ikke passer til oppgaven.

For eksempel gjelder dette for logistisk regresjon (uten bruk av PolynomialFeatures), som vi vet lager en lineær beslutningsgrense. Ved å se på kompleksiteten til det andre datasettet i bildet, kunne vi derfor forutsi på forhånd at den ikke ville prestere godt.

Et annet eksempel er hvis oppgaven krever ekstremt rask prediksjonshastighet — for eksempel sanntidsprediksjoner i en app — da er k-NN et dårlig valg. Det samme gjelder for en Random Forest med mange beslutningstrær. Du kan redusere antall trær ved å bruke n_estimators-parameteren for å forbedre hastigheten, men det kan gå på bekostning av lavere ytelse.

Tabellen nedenfor kan hjelpe deg å forstå hvilket forhåndsprosessering som kreves før du trener hver modell, og hvordan modellens ytelse påvirkes når antall funksjoner eller instanser øker:

• n – antall instanser (eksempler);
• m – antall egenskaper;
• t – antall trær i en Random Forest;
• k – antall naboer i k-NN;
• * Skalering er ikke nødvendig hvis penalty=None i logistisk regresjon;
• ** PolynomialFeatures legger til flere egenskaper, så det effektive antallet egenskaper m øker.