Nå som du kan estimere tilstandsverdifunksjonen for en hvilken som helst policy, er et naturlig neste steg å undersøke om det finnes noen policyer som er bedre enn den nåværende. En måte å gjøre dette på, er å vurdere å ta en annen handling $a$ i en tilstand $s$, og deretter følge den nåværende policyen. Hvis dette virker kjent, er det fordi dette ligner på hvordan vi definerer aksjonsverdifunksjonen:

Hvis denne nye verdien er større enn den opprinnelige tilstandsverdien $v_\pi(s)$, indikerer det at å velge handling $a$ i tilstand $s$ og deretter fortsette med politikk $\pi$ gir bedre resultater enn å følge politikk $\pi$ strengt. Siden tilstander er uavhengige, er det optimalt å alltid velge handling $a$ hver gang tilstand $s$ oppstår. Derfor kan vi konstruere en forbedret politikk $\pi'$, identisk med $\pi$ bortsett fra at den velger handling $a$ i tilstand $s$, noe som vil være bedre enn den opprinnelige politikken $\pi$.

Teorem for politikkforbedring

Resonnementet beskrevet ovenfor kan generaliseres som teorem for politikkforbedring:

Beviset for denne teoremet er relativt enkelt, og kan oppnås ved en gjentatt substitusjon:

Forbedringsstrategi

Selv om det å oppdatere handlinger for enkelte tilstander kan føre til forbedringer, er det mer effektivt å oppdatere handlinger for alle tilstander samtidig. Spesielt, for hver tilstand $s$, velg den handlingen $a$ som maksimerer handlingsverdien $q_\pi(s, a)$:

hvor $\argmax$ (forkortelse for argumentet til maksimumet) er en operator som returnerer verdien av variabelen som maksimerer en gitt funksjon.

Den resulterende grådige policyen, betegnet som $\pi'$, oppfyller betingelsene i policy improvement-teoremet ved konstruksjon, noe som garanterer at $\pi'$ er minst like god som den opprinnelige policyen $\pi$, og vanligvis bedre.

Hvis $\pi'$ er like god som, men ikke bedre enn $\pi$, er både $\pi'$ og $\pi$ optimale policyer, ettersom deres verdifunksjoner er like og oppfyller Bellmans optimalitetslikning: