Che cos'è la Random Forest

Random Forest è un algoritmo ampiamente utilizzato nei problemi di classificazione e regressione. Costruisce molti alberi decisionali diversi e prende la maggioranza dei voti per la classificazione e la media nel caso della regressione.

Invece di utilizzare un singolo albero migliore, Random Forest costruisce molti alberi "più deboli". Questo può sembrare controintuitivo: perché dovremmo usare modelli peggiori?

Pensalo così: un singolo albero decisionale è come un generalista: cerca di considerare ogni caratteristica e fornire una visione completa. Tuttavia, può diventare troppo sicuro e commettere errori adattandosi troppo ai rumori nei dati.

Una Random Forest, invece, è come una squadra di specialisti. Ogni albero viene addestrato su parti diverse dei dati e si concentra su aspetti differenti del problema. Da solo, ogni albero potrebbe non essere molto forte, potrebbe persino perdere la visione d'insieme. Ma insieme, quando si combinano i loro "voti", coprono le debolezze reciproche e forniscono una previsione più equilibrata e accurata.

Puoi anche paragonarlo a chiedere a 100 studenti competenti invece di affidarti a un singolo professore. Anche se il professore potrebbe essere più esperto, anche gli esperti possono essere di parte o fuorviati. Ma se la maggioranza degli studenti arriva indipendentemente alla stessa risposta, quel consenso è spesso più solido.

In pratica, combinare molti alberi decisionali più deboli in una singola Random Forest forte funziona molto bene e spesso supera significativamente un singolo albero decisionale ottimizzato su grandi set di dati. Il confine decisionale di una Random Forest è più regolare e generalizza meglio su nuovi dati rispetto a quello di un singolo albero decisionale, quindi le Random Forest sono meno soggette a overfitting.

Tuttavia, l'accuratezza non migliorerà se combiniamo molti modelli che commettono gli stessi errori. Affinché questo approccio sia efficace, i modelli dovrebbero essere il più diversi possibile tra loro, in modo da commettere errori differenti.