Ideen bak policy iteration er enkel:

1. Start med en initial $\pi$ og $v$;
2. Bruk policy evaluering for å oppdatere $v$ til det er konsistent med $\pi$;
3. Bruk policy forbedring for å oppdatere $\pi$ til det er grådig med hensyn til $v$;
4. Gjenta trinn 2-3 til konvergens.

I denne metoden er det ingen delvise oppdateringer:

• Under policy evaluering oppdateres verdiene for hver tilstand til de er konsistente med gjeldende policy;
• Under policy forbedring gjøres policy grådig med hensyn til verdifunksjonen.

Pseudokode