Summary  
Policy iteration implements a fixed-point iterative algorithm that alternates between fully evaluating a policy’s value function and improving the policy greedily with respect to those values until convergence.

General domain of usage  
Reinforcement learning (Markov decision process planning)

Idén bakom **policyiteration** är enkel:
1. Välj en initial $$\pi$$ och $$v$$;
2. Använd policyevaluering för att uppdatera $$v$$ tills det är konsistent med $$\pi$$;
3. Använd policyförbättring för att uppdatera $$\pi$$ tills den är girig med avseende på $$v$$;
4. Upprepa steg 2-3 tills konvergens.

I denna metod finns **inga partiella uppdateringar**:
- Under **policyevaluering** uppdateras värden för varje tillstånd tills de är konsistenta med aktuell policy;
- Under **policyförbättring** görs policyn girig med avseende på värdefunktionen.

Baserat på pseudokoden, vilken villkor gör att den yttre loopen i policyiteration slutar?

Reinforcement Learning (RL) är en kraftfull gren av maskininlärning som fokuserar på att träna intelligenta agenter genom interaktion med sin omgivning. I denna kurs lär du dig hur agenter gradvis upptäcker effektiva beteenden genom försök och misstag. Med början i grundläggande begrepp som Markovbeslutsprocesser och multiarmade banditer, går du vidare till dynamisk programmering, Monte Carlo-metoder och temporär differensinlärning.

Upptäck hur agenter tränas att fatta optimala beslut genom trial and error. Utforska grunderna i förstärkningsinlärningens teori. Få praktisk erfarenhet av att konfigurera och köra en Gymnasium-miljö.

Bemästra utforsknings- och exploateringsavvägningen genom multi-armed bandit-problemet. Implementera åtgärdsvärdesuppskattning, ε-girig, övre konfidensgräns och gradient-banditmetoder. Utvärdera algoritmers prestanda på simulerade belöningsmaximeringsuppgifter.

Behärska dynamisk programmering för modellbaserad RL. Upptäck hur Bellmans ekvationer kan användas för att utvärdera och förbättra policies.
Implementera algoritmer för policy- och värdeiteration.
Utforska generaliserad policyiteration som den teoretiska grunden för modellfria metoder.

Behärska Monte Carlo-metoder för modellfri RL. Uppskatta värdefunktioner och härled optimala policies från fullständiga episoder. Implementera on-policy och off-policy Monte Carlo-kontrollalgoritmer. Utforska strategier för utforskning för att optimera modellfritt lärande.

Behärska temporär differensinlärning för modellfri RL. Skatta värdefunktioner från partiella episoder med hjälp av TD(0)-uppdateringar. Implementera on-policy SARSA och off-policy Q-Learning-algoritmer. Utforska hur Monte Carlo-metoder och TD-inlärning kombineras i n-stegs TD och TD(λ).

Policyiteration

Pseudokod

Policyiteration

Pseudokod