Dans les chapitres précédents, vous avez découvert l’évaluation de politique et l’amélioration de politique. Ces processus se complètent et se combinent naturellement dans un cadre appelé itération généralisée de politique.

La plupart des méthodes d’apprentissage par renforcement peuvent être décrites dans le cadre de la GPI. Les principales différences entre ces méthodes proviennent des implémentations spécifiques de l’évaluation de politique et de l’amélioration de politique, ainsi que de la nature de leurs interactions.

Interaction entre deux processus

L'évaluation de la politique et l'amélioration de la politique peuvent être considérées à la fois comme des processus coopératifs et compétitifs, selon la perspective :

• Coopératif : les deux processus poursuivent un objectif commun : trouver la politique optimale et la fonction de valeur optimale. L'évaluation de la politique estime la fonction de valeur pour une politique donnée, tandis que l'amélioration de la politique affine la politique sur la base de ces estimations ;
• Compétitif : chaque processus a des objectifs contradictoires. L'évaluation de la politique vise à estimer précisément la fonction de valeur pour la politique actuelle, ce qui peut faire en sorte que la politique ne soit plus gloutonne. À l'inverse, l'amélioration de la politique ajuste la politique pour qu'elle soit gloutonne par rapport aux estimations actuelles de la fonction de valeur, ce qui rend généralement ces estimations incorrectes. Cette dynamique de va-et-vient se poursuit jusqu'à ce que la politique et la fonction de valeur convergent vers leurs formes optimales.

Résumé

L'itération de politique généralisée est un cadre utile pour comprendre comment différentes méthodes d'apprentissage par renforcement abordent la résolution des MDP. Dans les prochains chapitres, vous découvrirez comment ces idées peuvent être appliquées pour créer deux méthodes DP essentielles : l'itération de politique et l'itération de valeur.