Random Forest er en algoritme, der anvendes bredt til klassifikations- og regressionsproblemer. Den opbygger mange forskellige beslutningstræer og anvender deres flertalsafgørelse til klassifikation og gennemsnit i tilfælde af regression.

I stedet for at bruge ét enkelt bedste træ, opbygger Random Forest mange "svagere" træer. Det kan lyde kontraintuitivt – hvorfor bruge modeller, der er dårligere?

Forestil dig det sådan: Et enkelt beslutningstræ er som en generalist – det forsøger at tage højde for alle egenskaber og give et fuldstændigt billede. Dog kan det blive for selvsikkert og begå fejl ved at overtilpasse til støj i dataene.

En Random Forest er derimod som et team af specialister. Hvert træ trænes på forskellige dele af dataene og fokuserer på forskellige aspekter af problemet. Alene er hvert træ måske ikke særlig stærkt – det kan endda overse det store billede. Men sammen, når man kombinerer deres "stemmer", dækker de hinandens svagheder og giver en mere balanceret, præcis forudsigelse.

Det kan også sammenlignes med at spørge 100 kompetente studerende i stedet for at stole på en enkelt professor. Selvom professoren måske er mere vidende, kan selv eksperter være forudindtagede eller blive vildledt. Men hvis flertallet af studerende uafhængigt når frem til det samme svar, er denne konsensus ofte mere robust.

I praksis fungerer det meget effektivt at kombinere mange svagere beslutningstræer til en stærk Random Forest, og det overgår ofte et optimeret individuelt beslutningstræ på store datasæt. Beslutningsgrænsen for en Random Forest er mere glat og generaliserer bedre til nye data end et enkelt beslutningstræ, så Random Forests er mindre tilbøjelige til overtilpasning.

Dog vil nøjagtigheden ikke forbedres, hvis vi kombinerer mange modeller, der begår de samme fejl. For at denne tilgang skal være effektiv, bør modellerne være så forskellige fra hinanden som muligt, så de begår forskellige fejl.