L'apprentissage par renforcement (RL) est une branche puissante de l'apprentissage automatique axée sur la formation d'agents intelligents par l'interaction avec leur environnement. Dans ce cours, vous découvrirez comment les agents identifient progressivement des comportements efficaces par essais et erreurs. En commençant par des concepts fondamentaux tels que les processus de décision de Markov et les bandits manchots, vous explorerez la programmation dynamique, les méthodes de Monte Carlo et l'apprentissage par différence temporelle.

Cette section présente les principes fondamentaux de l'apprentissage par renforcement, en abordant ses caractéristiques distinctives, ses bases mathématiques et la manière dont les agents apprennent par interaction et retour d'information. Vous manipulerez également des outils essentiels pour vous préparer à la conception et à l'entraînement de vos premiers agents RL.

Cette section explore le problème du bandit manchot — un excellent cadre pour comprendre le dilemme exploration-exploitation. Vous étudierez et mettrez en œuvre des algorithmes qui aident les agents à prendre des décisions dans l'incertitude, en équilibrant la maximisation de la récompense avec la nécessité d'explorer.

Cette section présente la programmation dynamique comme une méthode puissante pour résoudre les problèmes d'apprentissage par renforcement lorsqu'un modèle complet de l'environnement est disponible. Vous apprendrez à évaluer et à améliorer les politiques à l'aide des équations de Bellman et à explorer des techniques fondamentales telles que l'itération de politique, l'itération de valeur et l'itération de politique généralisée — établissant ainsi la base théorique pour les futures méthodes sans modèle.

Cette section présente les méthodes de Monte Carlo pour l'apprentissage des fonctions de valeur et des politiques à partir d'épisodes complets d'expérience. Vous explorerez les approches sur politique et hors politique, comprendrez comment l'exploration influence l'apprentissage, et mettrez en œuvre des techniques incrémentales pour estimer efficacement les retours — le tout sans nécessiter de modèle de l'environnement.

Cette section présente l'apprentissage par différence temporelle (TD), une méthode fondamentale en apprentissage par renforcement qui combine des concepts issus de Monte Carlo et de la programmation dynamique. Vous apprendrez à estimer des fonctions de valeur à partir d'épisodes incomplets, à explorer les approches sur politique (SARSA) et hors politique (Q-learning), et à découvrir comment les méthodes Monte Carlo et l'apprentissage TD peuvent être combinées.

Défi : Apprentissage par Différence Temporelle

Défi

Awesome!

Défi : Apprentissage par Différence Temporelle

Défi