Summary  
Value iteration is an algorithm for solving Markov Decision Processes by merging policy evaluation and improvement into a single update: it repeatedly applies the Bellman optimality equation to the value function until it converges, then derives the optimal policy.  

General domain of usage  
Reinforcement learning

Även om **policyiteration** är en effektiv metod för att lösa **MDP:er**, har den en betydande nackdel: varje iteration innebär ett separat steg för **policyevaluering**. När **policyevaluering** utförs **iterativt** krävs flera genomgångar av hela **tillståndsrymden**, vilket leder till betydande beräkningskostnader och längre beräkningstider.

Ett bra alternativ är **värdeiteration**, en metod som kombinerar policyevaluering och policyförbättring i **ett enda steg**. Denna metod uppdaterar värdefunktionen direkt tills den konvergerar mot den **optimala värdefunktionen**. När konvergens har uppnåtts kan den **optimala policyn** härledas direkt från denna optimala värdefunktion.

**Värdeiteration** fungerar genom att endast utföra en backup under policyevalueringen, innan policyförbättring sker. Detta resulterar i följande uppdateringsformel:

$$
v_{k+1}(s) \gets \max_a \sum_{s',r}p(s',r|s,a)\Bigl(r+\gamma v_k(s')\Bigr) \qquad \forall s \in S
$$

Genom att omvandla Bellmans optimalitetsekvation till en uppdateringsregel, slås policyevaluering och policyförbättring ihop till ett enda steg.

Enligt pseudokoden, när avslutas värdeiteration?

Förstärkningsinlärning (RL) är en kraftfull gren av maskininlärning som fokuserar på att träna intelligenta agenter genom interaktion med deras omgivning. I denna kurs lär du dig hur agenter gradvis upptäcker effektiva beteenden genom försök och misstag. Med början i grundläggande begrepp som Markovbeslutsprocesser och multiarmade banditer, går du vidare genom dynamisk programmering, Monte Carlo-metoder och temporär differensinlärning.

Detta avsnitt introducerar de grundläggande principerna för förstärkningsinlärning, inklusive dess kännetecknande egenskaper, matematiska grunder och hur agenter lär sig genom interaktion och återkoppling. Du får även praktisk erfarenhet av viktiga verktyg för att förbereda dig inför att bygga och träna dina första RL-agenter.

Detta avsnitt utforskar multi-armed bandit-problemet — en utmärkt miljö för att förstå utforsknings- och exploateringsdilemmat. Du kommer att lära dig och implementera algoritmer som hjälper agenter att fatta beslut under osäkerhet, genom att balansera belöningsmaximering med behovet av utforskning.

Detta avsnitt introducerar dynamisk programmering som en kraftfull metod för att lösa problem inom förstärkningsinlärning när en fullständig modell av miljön är tillgänglig. Du får lära dig hur man utvärderar och förbättrar policies med hjälp av Bellman-ekvationer samt utforskar centrala tekniker såsom policyiteration, värdeiteration och generaliserad policyiteration — vilket bygger den teoretiska grunden för framtida modellfria metoder.

Detta avsnitt introducerar Monte Carlo-metoder för att lära värdefunktioner och policies från kompletta episoder av erfarenhet. Du kommer att utforska både on-policy och off-policy tillvägagångssätt, förstå hur utforskning påverkar inlärning samt implementera inkrementella tekniker för att effektivt uppskatta avkastning — allt utan att behöva en modell av miljön.

Detta avsnitt introducerar temporär differensinlärning (TD), en grundläggande metod inom förstärkningsinlärning som kombinerar idéer från Monte Carlo och dynamisk programmering. Du får lära dig hur man uppskattar värdefunktioner från ofullständiga episoder, utforskar både on-policy (SARSA) och off-policy (Q-learning) tillvägagångssätt samt upptäcker hur Monte Carlo-metoder och TD-inlärning kan kombineras.

Värdeiteration

Hur fungerar det?

Pseudokod

Awesome!

Värdeiteration

Hur fungerar det?

Pseudokod