Hvad er Random Forest

Random Forest er en algoritme, der anvendes bredt til klassifikations- og regressionsproblemer. Den opbygger mange forskellige beslutningstræer og tager deres flertalsafgørelse ved klassifikation og gennemsnit i tilfælde af regression.

I stedet for at bruge ét enkelt bedste træ, opbygger Random Forest mange "svagere" træer. Det kan lyde kontraintuitivt – hvorfor bruge modeller, der er dårligere?

Forestil dig det sådan: Et enkelt beslutningstræ er som en generalist – det forsøger at tage højde for alle egenskaber og give et fuldstændigt billede. Det kan dog blive for selvsikkert og begå fejl ved at overtilpasse til støj i dataene.

En Random Forest er derimod som et team af specialister. Hvert træ trænes på forskellige dele af dataene og fokuserer på forskellige aspekter af problemet. Alene er hvert træ måske ikke særlig stærkt – det kan endda overse det store billede. Men sammen, når du kombinerer deres "stemmer", dækker de hinandens svagheder og giver en mere balanceret, præcis forudsigelse.

Du kan også sammenligne det med at spørge 100 kompetente studerende i stedet for at stole på en enkelt professor. Selvom professoren måske er mere vidende, kan selv eksperter være forudindtagede eller blive vildledt. Men hvis flertallet af studerende uafhængigt når frem til det samme svar, er denne konsensus ofte mere robust.

I praksis fungerer det meget godt at kombinere mange svagere beslutningstræer til en stærk Random Forest, og det overgår ofte et optimeret individuelt beslutningstræ på store datasæt. Beslutningsgrænsen for en Random Forest er mere glidende og generaliserer bedre til nye data end et enkelt beslutningstræ, så Random Forests er mindre tilbøjelige til overtilpasning.

Dog vil nøjagtigheden ikke blive forbedret, hvis vi kombinerer mange modeller, der begår de samme fejl. For at denne tilgang skal være effektiv, bør modellerne være så forskellige fra hinanden som muligt, så de laver forskellige fejl.