Het idee achter policy iteration is eenvoudig:

1. Neem een initiële $\pi$ en $v$;
2. Gebruik beleidsevaluatie om $v$ bij te werken totdat deze consistent is met $\pi$;
3. Gebruik beleidsverbetering om $\pi$ bij te werken totdat deze gulzig is ten opzichte van $v$;
4. Herhaal stappen 2-3 tot convergentie.

Bij deze methode zijn er geen gedeeltelijke updates:

• Tijdens beleidsevaluatie worden waarden voor elke toestand bijgewerkt totdat ze consistent zijn met het huidige beleid;
• Tijdens beleidsverbetering wordt het beleid gulzig gemaakt ten opzichte van de waardefunctie.

Pseudocode