Summary  
This chapter explains the policy iteration algorithm, which alternates between fully evaluating a given policy’s value function and greedily improving the policy based on that value until convergence.

General domain of usage  
Reinforcement learning

Het idee achter **policy iteration** is eenvoudig:
1. Neem een initiële $$\pi$$ en $$v$$;
2. Gebruik beleidsevaluatie om $$v$$ bij te werken totdat deze consistent is met $$\pi$$;
3. Gebruik beleidsverbetering om $$\pi$$ bij te werken totdat deze gulzig is ten opzichte van $$v$$;
4. Herhaal stappen 2-3 tot convergentie.

Bij deze methode zijn er **geen gedeeltelijke updates**:
- Tijdens **beleidsevaluatie** worden waarden voor elke toestand bijgewerkt totdat ze consistent zijn met het huidige beleid;
- Tijdens **beleidsverbetering** wordt het beleid gulzig gemaakt ten opzichte van de waardefunctie.

Op basis van de pseudocode, welke voorwaarde zorgt ervoor dat de buitenste lus van policy iteration stopt?

Reinforcement Learning (RL) is een krachtige tak van machine learning die zich richt op het trainen van intelligente agenten door interactie met hun omgeving. In deze cursus leer je hoe agenten geleidelijk effectieve gedragingen ontdekken via trial-and-error. Beginnend met kernconcepten zoals Markov-beslissingsprocessen en multi-armed bandits, werk je verder door dynamisch programmeren, Monte Carlo-methoden en temporeel verschil leren.

Deze sectie introduceert de kernprincipes van reinforcement learning, met aandacht voor de bepalende kenmerken, wiskundige grondslagen en de manier waarop agenten leren door interactie en feedback. U maakt tevens kennis met essentiële hulpmiddelen ter voorbereiding op het bouwen en trainen van uw eerste RL-agenten.

Deze sectie behandelt het multi-armed bandit probleem — een uitstekend kader om het exploratie-exploitatie dilemma te begrijpen. U leert en implementeert algoritmen die agenten helpen beslissingen te nemen onder onzekerheid, waarbij het maximaliseren van de beloning wordt afgewogen tegen de noodzaak tot exploratie.

Deze sectie introduceert dynamisch programmeren als een krachtige methode voor het oplossen van reinforcement learning-problemen wanneer een volledig model van de omgeving beschikbaar is. U leert hoe u beleidsregels kunt evalueren en verbeteren met behulp van Bellman-vergelijkingen en maakt kennis met kerntechnieken zoals beleiditeratie, waarde-iteratie en gegeneraliseerde beleiditeratie — waarmee de theoretische basis wordt gelegd voor toekomstige modelvrije methoden.

Deze sectie introduceert Monte Carlo-methoden voor het leren van waardefuncties en beleidslijnen op basis van volledige episodes van ervaring. U verkent zowel on-policy als off-policy benaderingen, begrijpt hoe exploratie het leerproces beïnvloedt en implementeert incrementele technieken om rendementen efficiënt te schatten — dit alles zonder een model van de omgeving nodig te hebben.

Deze sectie introduceert temporale verschil (TD) leren, een fundamentele methode in reinforcement learning die ideeën uit Monte Carlo en dynamisch programmeren combineert. U leert hoe waarde-functies kunnen worden geschat op basis van onvolledige episodes, verkent zowel on-policy (SARSA) als off-policy (Q-learning) benaderingen, en ontdekt hoe Monte Carlo-methoden en TD-leren gecombineerd kunnen worden.

Beleiditeratie

Pseudocode

Awesome!

Beleiditeratie

Pseudocode