Summary  
Value iteration is an algorithm for solving Markov Decision Processes by merging policy evaluation and improvement into a single update: it repeatedly applies the Bellman optimality equation to the value function until it converges, then derives the optimal policy.  

General domain of usage  
Reinforcement learning

Selvom **policy iteration** er en effektiv metode til at løse **MDP'er**, har den en væsentlig ulempe: Hver iteration indebærer et separat **policy evaluation**-trin. Når **policy evaluation** udføres **iterativt**, kræver det flere gennemløb af hele **state space**, hvilket medfører betydelig beregningsmæssig belastning og længere beregningstider.

Et godt alternativ er **value iteration**, en metode der kombinerer policy evaluation og policy improvement i ét **enkelt trin**. Denne metode opdaterer værdifunktionen direkte, indtil den konvergerer til den **optimale værdifunktion**. Når konvergens er opnået, kan den **optimale policy** udledes direkte fra denne optimale værdifunktion.

**Value iteration** fungerer ved kun at udføre én backup under policy evaluation, før policy improvement foretages. Dette resulterer i følgende opdateringsformel:

$$
v_{k+1}(s) \gets \max_a \sum_{s',r}p(s',r|s,a)\Bigl(r+\gamma v_k(s')\Bigr) \qquad \forall s \in S
$$

Ved at omsætte Bellmans optimalitetsligning til en opdateringsregel, kombineres policy evaluation og policy improvement i ét trin.

Baseret på pseudokoden, hvornår stopper value iteration?

Reinforcement Learning (RL) er en kraftfuld gren af maskinlæring, der fokuserer på at træne intelligente agenter gennem interaktion med deres omgivelser. I dette kursus lærer du, hvordan agenter gradvist opdager effektive adfærdsmønstre gennem forsøg og fejl. Kurset starter med kernebegreber som Markov beslutningsprocesser og multi-armed bandits og fortsætter med dynamisk programmering, Monte Carlo-metoder og temporal difference learning.

Dette afsnit introducerer de grundlæggende principper for reinforcement learning, herunder dets definerende egenskaber, matematiske fundament og hvordan agenter lærer gennem interaktion og feedback. Du får også praktisk erfaring med essentielle værktøjer som forberedelse til at bygge og træne dine første RL-agenter.

Dette afsnit undersøger multi-armet bandit-problemet — en fremragende ramme for at forstå udfordringen mellem udforskning og udnyttelse. Du vil lære om og implementere algoritmer, der hjælper agenter med at træffe beslutninger under usikkerhed, hvor belønningsmaksimering afvejes mod behovet for udforskning.

Dette afsnit introducerer dynamisk programmering som en effektiv metode til at løse forstærkningslæringsproblemer, når en fuldstændig model af miljøet er tilgængelig. Du vil lære at evaluere og forbedre politikker ved hjælp af Bellman-ligninger og udforske centrale teknikker såsom politik-iteration, værdi-iteration og generaliseret politik-iteration — hvilket danner det teoretiske grundlag for fremtidige model-frie metoder.

Dette afsnit introducerer Monte Carlo-metoder til at lære værdifunktioner og politikker ud fra komplette episoder af erfaring. Du vil udforske både on-policy og off-policy tilgange, forstå hvordan udforskning påvirker læring, og implementere inkrementelle teknikker til effektivt at estimere afkast — alt sammen uden behov for en model af miljøet.

Dette afsnit introducerer temporal difference (TD) læring, en grundlæggende metode inden for reinforcement learning, der kombinerer idéer fra Monte Carlo og dynamisk programmering. Du lærer, hvordan man estimerer værdifunktioner ud fra ufuldstændige episoder, udforsker både on-policy (SARSA) og off-policy (Q-learning) tilgange, samt opdager hvordan Monte Carlo-metoder og TD-læring kan kombineres.

Værdiiteration

Hvordan fungerer det?

Pseudokode

Awesome!

Værdiiteration

Hvordan fungerer det?

Pseudokode