Summary  
This chapter explains the policy iteration algorithm, which alternates between fully evaluating a given policy’s value function and greedily improving the policy based on that value until convergence.

General domain of usage  
Reinforcement learning

Ideen bak **policy iteration** er enkel:
1. Start med en initial $$\pi$$ og $$v$$;
2. Bruk policy evaluering for å oppdatere $$v$$ til det er konsistent med $$\pi$$;
3. Bruk policy forbedring for å oppdatere $$\pi$$ til det er grådig med hensyn til $$v$$;
4. Gjenta trinn 2-3 til konvergens.

I denne metoden er det **ingen delvise oppdateringer**:
- Under **policy evaluering** oppdateres verdiene for hver tilstand til de er konsistente med gjeldende policy;
- Under **policy forbedring** gjøres policy grådig med hensyn til verdifunksjonen.

Basert på pseudokoden, hvilken betingelse gjør at den ytre løkken i policy iteration stopper?

Forsterkende læring (RL) er en kraftig gren av maskinlæring som fokuserer på å trene intelligente agenter gjennom interaksjon med sitt miljø. I dette kurset lærer du hvordan agenter gradvis oppdager effektive atferder gjennom prøving og feiling. Kurset starter med kjernebegreper som Markov beslutningsprosesser og multi-armede banditter, og fortsetter med dynamisk programmering, Monte Carlo-metoder og temporær differanselæring.

Denne delen introduserer kjerneprinsippene i forsterkningslæring, med fokus på dets definerende egenskaper, matematiske grunnlag og hvordan agenter lærer gjennom interaksjon og tilbakemelding. Du får også praktisk erfaring med essensielle verktøy for å forberede deg på å bygge og trene dine første RL-agenter.

Denne delen utforsker multi-armet bandittproblem — et utmerket utgangspunkt for å forstå dilemmaet mellom utforskning og utnyttelse. Du vil lære om og implementere algoritmer som hjelper agenter med å ta beslutninger under usikkerhet, og balansere maksimalisering av belønning med behovet for utforskning.

Dette avsnittet introduserer dynamisk programmering som en kraftig metode for å løse forsterkende læringsproblemer når en fullstendig modell av miljøet er tilgjengelig. Du vil lære hvordan man evaluerer og forbedrer policyer ved hjelp av Bellman-likninger og utforske sentrale teknikker som policyiterasjon, verdiiterasjon og generalisert policyiterasjon — og bygger det teoretiske grunnlaget for fremtidige modellfrie metoder.

Dette avsnittet introduserer Monte Carlo-metoder for å lære verdifunksjoner og policyer fra komplette episoder av erfaring. Du vil utforske både on-policy og off-policy tilnærminger, forstå hvordan utforskning påvirker læring, og implementere inkrementelle teknikker for effektiv estimering av avkastning — alt uten behov for en modell av miljøet.

Denne delen introduserer temporal difference (TD) læring, en grunnleggende metode innenfor forsterkende læring som kombinerer ideer fra Monte Carlo og dynamisk programmering. Du vil lære hvordan man estimerer verdifunksjoner fra ufullstendige episoder, utforske både on-policy (SARSA) og off-policy (Q-learning) tilnærminger, og oppdage hvordan Monte Carlo-metoder og TD-læring kan kombineres.

Policyiterasjon

Pseudokode

Awesome!

Policyiterasjon

Pseudokode