L'idea alla base della policy iteration è semplice:

1. Scegliere una $\pi$ e un $v$ iniziali;
2. Utilizzare la valutazione della policy per aggiornare $v$ finché non è coerente con $\pi$;
3. Utilizzare il miglioramento della policy per aggiornare $\pi$ finché non è greedy rispetto a $v$;
4. Ripetere i passaggi 2-3 fino alla convergenza.

In questo metodo, non ci sono aggiornamenti parziali:

• Durante la valutazione della policy, i valori vengono aggiornati per ogni stato, finché non sono coerenti con la policy corrente;
• Durante il miglioramento della policy, la policy viene resa greedy rispetto alla funzione di valore.

Pseudocodice