Summary  
This chapter explains the policy iteration algorithm, which alternates between fully evaluating a given policy’s value function and greedily improving the policy based on that value until convergence.

General domain of usage  
Reinforcement learning

L'idée derrière **l'itération de politique** est simple :
1. Prendre une politique initiale $$\pi$$ et une fonction de valeur $$v$$ ;
2. Utiliser l'évaluation de politique pour mettre à jour $$v$$ jusqu'à ce qu'elle soit cohérente avec $$\pi$$ ;
3. Utiliser l'amélioration de politique pour mettre à jour $$\pi$$ jusqu'à ce qu'elle soit gloutonne par rapport à $$v$$ ;
4. Répéter les étapes 2-3 jusqu'à convergence.

Dans cette méthode, il n'y a **aucune mise à jour partielle** :
- Lors de **l'évaluation de politique**, les valeurs sont mises à jour pour chaque état, jusqu'à ce qu'elles soient cohérentes avec la politique actuelle ;
- Lors de **l'amélioration de politique**, la politique devient gloutonne par rapport à la fonction de valeur.

D'après le pseudocode, quelle condition provoque l'arrêt de la boucle externe de l'itération de politique ?

L'apprentissage par renforcement (RL) est une branche puissante de l'apprentissage automatique axée sur la formation d'agents intelligents par l'interaction avec leur environnement. Dans ce cours, vous découvrirez comment les agents identifient progressivement des comportements efficaces par essais et erreurs. En commençant par des concepts fondamentaux tels que les processus de décision de Markov et les bandits manchots, vous explorerez la programmation dynamique, les méthodes de Monte Carlo et l'apprentissage par différence temporelle.

Cette section présente les principes fondamentaux de l'apprentissage par renforcement, en abordant ses caractéristiques distinctives, ses bases mathématiques et la manière dont les agents apprennent par interaction et retour d'information. Vous manipulerez également des outils essentiels pour vous préparer à la conception et à l'entraînement de vos premiers agents RL.

Cette section explore le problème du bandit manchot — un excellent cadre pour comprendre le dilemme exploration-exploitation. Vous étudierez et mettrez en œuvre des algorithmes qui aident les agents à prendre des décisions dans l'incertitude, en équilibrant la maximisation de la récompense avec la nécessité d'explorer.

Cette section présente la programmation dynamique comme une méthode puissante pour résoudre les problèmes d'apprentissage par renforcement lorsqu'un modèle complet de l'environnement est disponible. Vous apprendrez à évaluer et à améliorer les politiques à l'aide des équations de Bellman et à explorer des techniques fondamentales telles que l'itération de politique, l'itération de valeur et l'itération de politique généralisée — établissant ainsi la base théorique pour les futures méthodes sans modèle.

Cette section présente les méthodes de Monte Carlo pour l'apprentissage des fonctions de valeur et des politiques à partir d'épisodes complets d'expérience. Vous explorerez les approches sur politique et hors politique, comprendrez comment l'exploration influence l'apprentissage, et mettrez en œuvre des techniques incrémentales pour estimer efficacement les retours — le tout sans nécessiter de modèle de l'environnement.

Cette section présente l'apprentissage par différence temporelle (TD), une méthode fondamentale en apprentissage par renforcement qui combine des concepts issus de Monte Carlo et de la programmation dynamique. Vous apprendrez à estimer des fonctions de valeur à partir d'épisodes incomplets, à explorer les approches sur politique (SARSA) et hors politique (Q-learning), et à découvrir comment les méthodes Monte Carlo et l'apprentissage TD peuvent être combinées.

Itération de Politique

Pseudocode

Awesome!

Itération de Politique

Pseudocode