Summary  
This chapter explains the policy iteration algorithm, which alternates between fully evaluating a given policy’s value function and greedily improving the policy based on that value until convergence.

General domain of usage  
Reinforcement learning

Idén bakom **policyiteration** är enkel:
1. Välj en initial $$\pi$$ och $$v$$;
2. Använd policyevaluering för att uppdatera $$v$$ tills det är konsistent med $$\pi$$;
3. Använd policyförbättring för att uppdatera $$\pi$$ tills den är girig med avseende på $$v$$;
4. Upprepa steg 2-3 tills konvergens.

I denna metod sker **inga partiella uppdateringar**:
- Under **policyevaluering** uppdateras värden för varje tillstånd tills de är konsistenta med aktuell policy;
- Under **policyförbättring** görs policyn girig med avseende på värdefunktionen.

Baserat på pseudokoden, vilket villkor gör att den yttre loopen i policyiteration avslutas?

Förstärkningsinlärning (RL) är en kraftfull gren av maskininlärning som fokuserar på att träna intelligenta agenter genom interaktion med deras omgivning. I denna kurs lär du dig hur agenter gradvis upptäcker effektiva beteenden genom försök och misstag. Med början i grundläggande begrepp som Markovbeslutsprocesser och multiarmade banditer, går du vidare genom dynamisk programmering, Monte Carlo-metoder och temporär differensinlärning.

Detta avsnitt introducerar de grundläggande principerna för förstärkningsinlärning, inklusive dess kännetecknande egenskaper, matematiska grunder och hur agenter lär sig genom interaktion och återkoppling. Du får även praktisk erfarenhet av viktiga verktyg för att förbereda dig inför att bygga och träna dina första RL-agenter.

Detta avsnitt utforskar multi-armed bandit-problemet — en utmärkt miljö för att förstå utforsknings- och exploateringsdilemmat. Du kommer att lära dig och implementera algoritmer som hjälper agenter att fatta beslut under osäkerhet, genom att balansera belöningsmaximering med behovet av utforskning.

Detta avsnitt introducerar dynamisk programmering som en kraftfull metod för att lösa problem inom förstärkningsinlärning när en fullständig modell av miljön är tillgänglig. Du får lära dig hur man utvärderar och förbättrar policies med hjälp av Bellman-ekvationer samt utforskar centrala tekniker såsom policyiteration, värdeiteration och generaliserad policyiteration — vilket bygger den teoretiska grunden för framtida modellfria metoder.

Detta avsnitt introducerar Monte Carlo-metoder för att lära värdefunktioner och policies från kompletta episoder av erfarenhet. Du kommer att utforska både on-policy och off-policy tillvägagångssätt, förstå hur utforskning påverkar inlärning samt implementera inkrementella tekniker för att effektivt uppskatta avkastning — allt utan att behöva en modell av miljön.

Detta avsnitt introducerar temporär differensinlärning (TD), en grundläggande metod inom förstärkningsinlärning som kombinerar idéer från Monte Carlo och dynamisk programmering. Du får lära dig hur man uppskattar värdefunktioner från ofullständiga episoder, utforskar både on-policy (SARSA) och off-policy (Q-learning) tillvägagångssätt samt upptäcker hur Monte Carlo-metoder och TD-inlärning kan kombineras.

Policyiteration

Pseudokod

Awesome!

Policyiteration

Pseudokod