La idea detrás de la iteración de políticas es simple:

1. Tomar una $\pi$ y $v$ iniciales;
2. Utilizar la evaluación de políticas para actualizar $v$ hasta que sea consistente con $\pi$;
3. Utilizar la mejora de políticas para actualizar $\pi$ hasta que sea codiciosa con respecto a $v$;
4. Repetir los pasos 2-3 hasta la convergencia.

En este método, no hay actualizaciones parciales:

• Durante la evaluación de políticas, los valores se actualizan para cada estado, hasta que sean consistentes con la política actual;
• Durante la mejora de políticas, la política se vuelve codiciosa con respecto a la función de valor.

Pseudocódigo