Die Idee hinter der Policy Iteration ist einfach:

1. Wähle eine anfängliche $\pi$ und $v$;
2. Verwende die Policy-Bewertung, um $v$ zu aktualisieren, bis es mit $\pi$ konsistent ist;
3. Verwende die Policy-Verbesserung, um $\pi$ zu aktualisieren, bis sie bezüglich $v$ gierig ist;
4. Wiederhole die Schritte 2-3 bis zur Konvergenz.

Bei dieser Methode gibt es keine partiellen Aktualisierungen:

• Während der Policy-Bewertung werden die Werte für jeden Zustand aktualisiert, bis sie mit der aktuellen Policy übereinstimmen;
• Während der Policy-Verbesserung wird die Policy bezüglich der Wertfunktion gierig gemacht.

Pseudocode