Summary  
This chapter covers controlling the complexity of decision trees to prevent overfitting by tuning hyperparameters such as maximum tree depth and minimum samples per leaf.  

General domain of usage  
Supervised machine learning (predictive modeling)

Avant de passer à l’implémentation d’un arbre de décision avec Python, il est important d’aborder un sujet essentiel : **le surapprentissage** – le principal défi lié aux arbres de décision.

Voici un exemple illustrant comment l’arbre de décision s’ajuste à l’ensemble de données. Remarquez comment le modèle **s’adapte aux données d’entraînement**, en capturant leurs motifs et leurs subtilités :

Bien que le modèle **s'ajuste parfaitement à l'ensemble d'entraînement** sans mal classer aucun exemple, le problème est que les frontières de décision sont **trop complexes**. Par conséquent, la précision sur l'ensemble de test (ou de validation croisée) sera nettement inférieure à celle de l'ensemble d'entraînement, ce qui indique que le modèle **surajuste**.

La raison en est que le modèle effectuera **autant de divisions que nécessaire** pour s'ajuster parfaitement aux données d'entraînement.

Heureusement, l'Arbre de Décision est hautement configurable, ce qui permet d'ajuster ses hyperparamètres pour **minimiser le surajustement**.

## Profondeur maximale de l'arbre

La **profondeur** d'un nœud correspond à la distance (verticale) entre ce nœud et le nœud racine.

Il est possible de limiter la **profondeur maximale** d’un arbre de décision, ce qui le rend plus petit et réduit le risque de surapprentissage. Pour cela, les nœuds de décision atteignant la profondeur maximale deviennent des **feuilles**.

Voici également un gif montrant comment la frontière de décision change avec différentes valeurs de profondeur maximale :

## Nombre minimum d'échantillons

Une autre façon de contraindre l'arbre consiste à définir le **nombre minimum d'échantillons** sur les nœuds feuilles. Cela rendra le modèle plus simple et plus robuste aux valeurs aberrantes.

Vous pouvez observer comment cet hyperparamètre influence la **frontière de décision** :

Ces deux hyperparamètres sont disponibles dans l’implémentation **Decision Tree de scikit-learn**.  
Par défaut, l’arbre n’est pas contraint : `max_depth` est défini sur `None`, ce qui signifie qu’il n’y a pas de limite de profondeur, et `min_samples_leaf` est défini sur `1`.

Maîtrisez les principaux algorithmes de classification qui alimentent l'apprentissage automatique moderne. Découvrez comment des modèles tels que k-NN, la régression logistique, les arbres de décision et les forêts aléatoires effectuent des prédictions, évaluez leur précision et comprenez quand utiliser chacun d'eux. Développez les compétences nécessaires pour comparer les modèles et choisir le plus adapté à vos données.

Découvrez comment l'algorithme des k plus proches voisins effectue des prédictions basées sur la similarité. Apprenez à gérer plusieurs caractéristiques, à ajuster les paramètres et à appliquer la validation croisée pour améliorer la précision.

Comprendre comment la régression logistique modélise les probabilités et classe les résultats. S'exercer à l'implémenter, à interpréter les frontières de décision et à appliquer la régularisation pour éviter le surapprentissage.

Découvrez comment les arbres de décision divisent les données en groupes significatifs selon les valeurs des caractéristiques. Explorez l'influence de paramètres tels que la profondeur de l'arbre et le nombre minimal d'échantillons par feuille sur la performance et la généralisation du modèle.

Découvrez comment les forêts aléatoires combinent plusieurs arbres de décision pour améliorer la précision et la robustesse. Comprenez le rôle de l'aléatoire et appliquez cette méthode d'ensemble à des données réelles.

Évaluation des modèles à l'aide de métriques telles que l'exactitude, la précision, le rappel et le score F1. Interprétation des matrices de confusion et comparaison de plusieurs classificateurs afin d'identifier le modèle le plus performant.

Prévention du Surapprentissage dans les Arbres de Décision

Profondeur maximale de l'arbre

Nombre minimum d'échantillons