Summary  
This chapter explains the policy iteration algorithm, which alternates between fully evaluating a given policy’s value function and greedily improving the policy based on that value until convergence.

General domain of usage  
Reinforcement learning

Ideen bak **policy iteration** er enkel:
1. Start med en initial $$\pi$$ og $$v$$;
2. Bruk policy-evaluering for å oppdatere $$v$$ til det er konsistent med $$\pi$$;
3. Bruk policy-forbedring for å oppdatere $$\pi$$ til den er grådig med hensyn til $$v$$;
4. Gjenta trinn 2-3 til konvergens.

I denne metoden er det **ingen delvise oppdateringer**:
- Under **policy-evaluering** oppdateres verdiene for hver tilstand til de er konsistente med gjeldende policy;
- Under **policy-forbedring** gjøres policyen grådig med hensyn til verdifunksjonen.

Basert på pseudokoden, hvilken betingelse gjør at den ytre løkken i policy iteration stopper?

Forsterkningslæring (RL) er en kraftig gren innen maskinlæring som fokuserer på å trene intelligente agenter gjennom interaksjon med sitt miljø. I dette kurset vil du lære hvordan agenter gradvis oppdager effektive atferder gjennom prøving og feiling. Du starter med grunnleggende konsepter som Markov beslutningsprosesser og multi-armede banditter, og fortsetter med dynamisk programmering, Monte Carlo-metoder og temporær differanselæring.

Lær hvordan man trener agenter til å ta optimale beslutninger gjennom prøving og feiling. Utforsk det grunnleggende innenfor forsterkningslæringens teori. Få praktisk erfaring med oppsett og kjøring av et Gymnasium-miljø.

Forstå utforsknings-utnyttelses-avveiningen gjennom multi-armet bandittproblem. Implementering av handlingsverdiestimering, ε-grådig, øvre konfidensgrense og gradient-bandittmetoder. Evaluering av algoritmers ytelse på simulerte belønningsmaksimeringsoppgaver.

Behersk dynamisk programmering for modellbasert RL. Oppdag hvordan Bellman-likninger kan brukes til å evaluere og forbedre policyer. Implementer algoritmer for policy- og verdiiterasjon. Utforsk generalisert policyiterasjon som det teoretiske grunnlaget for modellfrie metoder.

Behersk Monte Carlo-metoder for modellfri RL. Estimeringsmetoder for verdifunksjoner og utledning av optimale policyer fra fullstendige episoder. Implementering av on-policy og off-policy Monte Carlo-kontrollalgoritmer. Utforskingsstrategier for optimalisering av modellfri læring.

Behersk temporal difference-læring for modellfri RL. Estimer verdifunksjoner fra delvise episoder ved bruk av TD(0)-oppdateringer. Implementer on-policy SARSA og off-policy Q-Learning-algoritmer. Utforsk hvordan Monte Carlo-metoder og TD-læring kombineres i n-trinns TD og TD(λ).

Policyiterasjon

Pseudokode

Awesome!

Policyiterasjon

Pseudokode