Summary  
This chapter covers the exploration vs exploitation trade-off in algorithmic decision-making, detailing how an agent balances gathering new information (exploration) against leveraging known options for immediate reward (exploitation).

General domain of usage  
Online recommendations

Le problème **exploration vs exploitation** est un dilemme fondamental en apprentissage par renforcement. Il survient lorsqu'un agent doit choisir entre deux stratégies concurrentes :

1. **Exploration** : essayer de nouvelles options pour recueillir plus d'informations, même si la récompense immédiate est incertaine ;
2. **Exploitation** : choisir la meilleure option connue sur la base des expériences passées afin de maximiser les récompenses immédiates.

Ce problème survient dans des scénarios où les décisions influencent les résultats futurs. Si un agent se contente uniquement de **profiter** de ce qu'il connaît, il peut passer à côté de meilleures opportunités. À l'inverse, une **exploration** excessive peut entraîner des risques inutiles ou un gaspillage de ressources sans garantir de meilleurs résultats.

- **Recommandations en ligne** : un service de streaming peut soit recommander un film populaire **(exploitation)**, soit suggérer un film moins connu pour mieux comprendre les préférences d'un utilisateur **(exploration)** ;
- **Développement de produits** : une entreprise peut se concentrer sur l'amélioration d'un produit populaire qui rencontre un succès constant sur le marché **(exploitation)** ou investir dans le développement de nouveaux produits ou fonctionnalités **(exploration)** ;
- **Stratégies d'investissement** : un trader doit décider s'il investit dans des actions performantes **(exploitation)** ou s'il expérimente de nouveaux investissements susceptibles d'offrir de meilleurs rendements **(exploration)**.

La difficulté réside dans l'équilibre efficace entre ces deux stratégies. Une **exploitation** excessive peut conduire à des gains à long terme sous-optimaux, tandis qu'une **exploration** trop importante peut s'avérer inefficace et coûteuse. L'objectif est de trouver un équilibre optimal qui maximise les bénéfices à long terme tout en minimisant les risques.

Bien qu'il existe différentes méthodes pour équilibrer **exploration** et **exploitation**, chaque problème peut nécessiter une **approche adaptée**, en tenant compte de facteurs tels que la structure des récompenses, le taux de changement de l'environnement et le niveau d'incertitude concernant les conséquences des différentes actions.


Note

Vous entraînez un agent d'apprentissage par renforcement à naviguer dans un labyrinthe. Après un très long moment, il a appris à sortir du labyrinthe de manière fiable, mais le chemin qu'il emprunte est loin d'être optimal. Que feriez-vous ?

L'apprentissage par renforcement (RL) est une branche puissante de l'apprentissage automatique axée sur la formation d'agents intelligents par l'interaction avec leur environnement. Dans ce cours, vous découvrirez comment les agents identifient progressivement des comportements efficaces par essais et erreurs. En commençant par des concepts fondamentaux tels que les processus de décision de Markov et les bandits manchots, vous explorerez la programmation dynamique, les méthodes de Monte Carlo et l'apprentissage par différence temporelle.

Découvrez comment entraîner des agents à prendre des décisions optimales par essais et erreurs. Explorez les principes essentiels de la théorie de l'apprentissage par renforcement. Expérience pratique de configuration et d'exécution d'un environnement Gymnasium.

Maîtrise du compromis exploration-exploitation à travers le problème du bandit manchot. Mise en œuvre de l'estimation de la valeur d'action, des méthodes ε-greedy, borne supérieure de confiance et bandit à gradient. Évaluation des performances des algorithmes sur des tâches simulées de maximisation de récompense.

Maîtrise de la programmation dynamique pour l'apprentissage par renforcement basé sur un modèle. Découverte de l'utilisation des équations de Bellman pour évaluer et améliorer les politiques. Mise en œuvre des algorithmes d'itération de politique et d'itération de valeur. Exploration de l'itération généralisée de politique comme fondement théorique des méthodes sans modèle.

Maîtrise des méthodes de Monte Carlo pour l'apprentissage par renforcement sans modèle. Estimation des fonctions de valeur et dérivation des politiques optimales à partir d'épisodes complets. Implémentation des algorithmes de contrôle Monte Carlo sur et hors politique. Découverte des stratégies d'exploration pour optimiser l'apprentissage sans modèle.

Maîtrise de l'apprentissage par différence temporelle pour l'apprentissage par renforcement sans modèle. Estimation des fonctions de valeur à partir d'épisodes partiels à l'aide des mises à jour TD(0). Implémentation des algorithmes SARSA sur politique et Q-Learning hors politique. Découverte de la combinaison des méthodes Monte Carlo et de l'apprentissage par différence temporelle dans TD à n étapes et TD(λ).

Exploration Contre Exploitation

Le compromis

Exemples concrets

Le défi