Summary  
Value iteration is an algorithm for solving Markov Decision Processes by merging policy evaluation and improvement into a single update: it repeatedly applies the Bellman optimality equation to the value function until it converges, then derives the optimal policy.  

General domain of usage  
Reinforcement learning

Hoewel **policy-iteratie** een effectieve methode is voor het oplossen van **MDP's**, heeft het een belangrijk nadeel: elke iteratie omvat een afzonderlijke **beleidsevaluatie**-stap. Wanneer **beleidsevaluatie** **iteratief** wordt uitgevoerd, zijn er meerdere doorlopen van de volledige **toestandsruimte** nodig, wat leidt tot aanzienlijke computationele overhead en langere rekentijden.

Een goed alternatief is **waarde-iteratie**, een methode die beleidsevaluatie en beleidsverbetering samenvoegt tot één **enkele stap**. Deze methode werkt de waardefunctie direct bij totdat deze convergeert naar de **optimale waardefunctie**. Zodra convergentie is bereikt, kan het **optimale beleid** direct uit deze optimale waardefunctie worden afgeleid.

**Waarde-iteratie** werkt door slechts één backup uit te voeren tijdens de beleidsevaluatie, voordat beleidsverbetering plaatsvindt. Dit resulteert in de volgende updateformule:

$$
v_{k+1}(s) \gets \max_a \sum_{s',r}p(s',r|s,a)\Bigl(r+\gamma v_k(s')\Bigr) \qquad \forall s \in S
$$

Door de Bellman-optimaliteitsvergelijking om te zetten in een update-regel, worden beleidsevaluatie en beleidsverbetering samengevoegd tot één enkele stap.

Op basis van de pseudocode, wanneer stopt de value-iteratie?

Reinforcement Learning (RL) is een krachtige tak van machine learning die zich richt op het trainen van intelligente agenten door interactie met hun omgeving. In deze cursus leer je hoe agenten geleidelijk effectieve gedragingen ontdekken via trial-and-error. Beginnend met kernconcepten zoals Markov-beslissingsprocessen en multi-armed bandits, werk je verder door dynamisch programmeren, Monte Carlo-methoden en temporeel verschil leren.

Deze sectie introduceert de kernprincipes van reinforcement learning, met aandacht voor de bepalende kenmerken, wiskundige grondslagen en de manier waarop agenten leren door interactie en feedback. U maakt tevens kennis met essentiële hulpmiddelen ter voorbereiding op het bouwen en trainen van uw eerste RL-agenten.

Deze sectie behandelt het multi-armed bandit probleem — een uitstekend kader om het exploratie-exploitatie dilemma te begrijpen. U leert en implementeert algoritmen die agenten helpen beslissingen te nemen onder onzekerheid, waarbij het maximaliseren van de beloning wordt afgewogen tegen de noodzaak tot exploratie.

Deze sectie introduceert dynamisch programmeren als een krachtige methode voor het oplossen van reinforcement learning-problemen wanneer een volledig model van de omgeving beschikbaar is. U leert hoe u beleidsregels kunt evalueren en verbeteren met behulp van Bellman-vergelijkingen en maakt kennis met kerntechnieken zoals beleiditeratie, waarde-iteratie en gegeneraliseerde beleiditeratie — waarmee de theoretische basis wordt gelegd voor toekomstige modelvrije methoden.

Deze sectie introduceert Monte Carlo-methoden voor het leren van waardefuncties en beleidslijnen op basis van volledige episodes van ervaring. U verkent zowel on-policy als off-policy benaderingen, begrijpt hoe exploratie het leerproces beïnvloedt en implementeert incrementele technieken om rendementen efficiënt te schatten — dit alles zonder een model van de omgeving nodig te hebben.

Deze sectie introduceert temporale verschil (TD) leren, een fundamentele methode in reinforcement learning die ideeën uit Monte Carlo en dynamisch programmeren combineert. U leert hoe waarde-functies kunnen worden geschat op basis van onvolledige episodes, verkent zowel on-policy (SARSA) als off-policy (Q-learning) benaderingen, en ontdekt hoe Monte Carlo-methoden en TD-leren gecombineerd kunnen worden.

Waarde-Iteratie

Hoe werkt het?

Pseudocode

Awesome!

Waarde-Iteratie

Hoe werkt het?

Pseudocode