Även om policyiteration är en effektiv metod för att lösa MDP:er, har den en betydande nackdel: varje iteration innebär ett separat steg för policyevaluering. När policyevaluering utförs iterativt krävs flera genomgångar av hela tillståndsrymden, vilket leder till betydande beräkningskostnader och längre beräkningstider.

Ett bra alternativ är värdeiteration, en metod som kombinerar policyevaluering och policyförbättring i ett enda steg. Denna metod uppdaterar värdefunktionen direkt tills den konvergerar mot den optimala värdefunktionen. När konvergens har uppnåtts kan den optimala policyn härledas direkt från denna optimala värdefunktion.

Hur fungerar det?

Värdeiteration fungerar genom att endast utföra en backup under policyevalueringen, innan policyförbättring sker. Detta resulterar i följande uppdateringsformel:

Genom att omvandla Bellmans optimalitetsekvation till en uppdateringsregel, slås policyevaluering och policyförbättring ihop till ett enda steg.

Pseudokod