Summary  
Value iteration is a dynamic programming method that repeatedly applies the Bellman optimality update to merge policy evaluation and policy improvement into a single step, directly converging to the optimal value function from which the optimal policy is derived.

General domain of usage  
Reinforcement learning

Hoewel **policy iteration** een effectieve methode is voor het oplossen van **MDP's**, heeft het een belangrijk nadeel: elke iteratie omvat een afzonderlijke **policy evaluation** stap. Wanneer **policy evaluation** **iteratief** wordt uitgevoerd, zijn er meerdere doorlopen van de volledige **state space** nodig, wat leidt tot aanzienlijke computationele overhead en langere rekentijden.

Een goed alternatief is **value iteration**, een methode die policy evaluation en policy improvement samenvoegt tot **één enkele stap**. Deze methode werkt de value function direct bij totdat deze convergeert naar de **optimale value function**. Zodra convergentie is bereikt, kan de **optimale policy** direct uit deze optimale value function worden afgeleid.

**Value iteration** werkt door slechts één backup uit te voeren tijdens policy evaluation, voordat policy improvement wordt toegepast. Dit resulteert in de volgende updateformule:

$$
v_{k+1}(s) \gets \max_a \sum_{s',r}p(s',r|s,a)\Bigl(r+\gamma v_k(s')\Bigr) \qquad \forall s \in S
$$

Door de Bellman optimaliteitsvergelijking om te zetten in een update-regel, worden policy evaluation en policy improvement samengevoegd tot één enkele stap.

Op basis van de pseudocode, wanneer stopt de waarde-iteratie?

Reinforcement Learning (RL) is een krachtige tak van machine learning die zich richt op het trainen van intelligente agenten door interactie met hun omgeving. In deze cursus leer je hoe agenten geleidelijk effectieve gedragingen ontdekken via trial-and-error. Beginnend met kernconcepten zoals Markov-beslissingsprocessen en multi-armed bandits, werk je verder met dynamisch programmeren, Monte Carlo-methoden en temporal difference learning.

Ontdek hoe agenten getraind kunnen worden om optimale beslissingen te nemen via trial-and-error. Verken de essentiële theorie van reinforcement learning. Doe praktische ervaring op met het opzetten en uitvoeren van een Gymnasium-omgeving.

Beheers de exploratie-exploitatie-afweging via het multi-armed bandit probleem. Implementeer actie-waarde schatting, ε-greedy, upper confidence bound en gradient-bandit methoden. Evalueer de prestaties van algoritmen op gesimuleerde beloningsmaximalisatietaken.

Beheers dynamisch programmeren voor modelgebaseerde RL. Ontdek hoe Bellman-vergelijkingen kunnen worden gebruikt om beleid te evalueren en te verbeteren. Implementeer algoritmen voor beleid- en waarde-iteratie. Verken gegeneraliseerde beleid-iteratie als het theoretische fundament voor modelvrije methoden.

Beheers Monte Carlo-methoden voor modelvrije RL. Waarde-functies schatten en optimale beleidslijnen afleiden uit volledige episodes. Implementatie van on-policy en off-policy Monte Carlo-controle-algoritmen. Ontdek verkenningsstrategieën om modelvrij leren te optimaliseren.

Beheers tijdverschil leren voor modelvrije RL. Waarde-functies schatten uit gedeeltelijke episodes met behulp van TD(0)-updates. Implementeer on-policy SARSA- en off-policy Q-Learning-algoritmen. Ontdek hoe Monte Carlo-methoden en TD-leren worden gecombineerd in n-staps TD en TD(λ).

Waarde-Iteratie

Hoe werkt het?

Pseudocode

Waarde-Iteratie

Hoe werkt het?

Pseudocode