Summary  
This chapter explains the policy iteration algorithm, which alternates between fully evaluating a given policy’s value function and greedily improving the policy based on that value until convergence.

General domain of usage  
Reinforcement learning

Ideen bag **policy iteration** er enkel:
1. Vælg en initial $$\pi$$ og $$v$$;
2. Brug policy evaluation til at opdatere $$v$$, indtil det er konsistent med $$\pi$$;
3. Brug policy improvement til at opdatere $$\pi$$, indtil det er grådig i forhold til $$v$$;
4. Gentag trin 2-3 indtil konvergens.

I denne metode er der **ingen delvise opdateringer**:
- Under **policy evaluation** opdateres værdierne for hver tilstand, indtil de er konsistente med den nuværende politik;
- Under **policy improvement** gøres politikken grådig i forhold til værdifunktionen.

Baseret på pseudokoden, hvilken betingelse får den ydre løkke i policy iteration til at stoppe?

Reinforcement Learning (RL) er en kraftfuld gren af maskinlæring, der fokuserer på at træne intelligente agenter gennem interaktion med deres omgivelser. I dette kursus lærer du, hvordan agenter gradvist opdager effektive adfærdsmønstre gennem forsøg og fejl. Kurset starter med kernebegreber som Markov beslutningsprocesser og multi-armed bandits og fortsætter med dynamisk programmering, Monte Carlo-metoder og temporal difference learning.

Dette afsnit introducerer de grundlæggende principper for reinforcement learning, herunder dets definerende egenskaber, matematiske fundament og hvordan agenter lærer gennem interaktion og feedback. Du får også praktisk erfaring med essentielle værktøjer som forberedelse til at bygge og træne dine første RL-agenter.

Dette afsnit undersøger multi-armet bandit-problemet — en fremragende ramme for at forstå udfordringen mellem udforskning og udnyttelse. Du vil lære om og implementere algoritmer, der hjælper agenter med at træffe beslutninger under usikkerhed, hvor belønningsmaksimering afvejes mod behovet for udforskning.

Dette afsnit introducerer dynamisk programmering som en effektiv metode til at løse forstærkningslæringsproblemer, når en fuldstændig model af miljøet er tilgængelig. Du vil lære at evaluere og forbedre politikker ved hjælp af Bellman-ligninger og udforske centrale teknikker såsom politik-iteration, værdi-iteration og generaliseret politik-iteration — hvilket danner det teoretiske grundlag for fremtidige model-frie metoder.

Dette afsnit introducerer Monte Carlo-metoder til at lære værdifunktioner og politikker ud fra komplette episoder af erfaring. Du vil udforske både on-policy og off-policy tilgange, forstå hvordan udforskning påvirker læring, og implementere inkrementelle teknikker til effektivt at estimere afkast — alt sammen uden behov for en model af miljøet.

Dette afsnit introducerer temporal difference (TD) læring, en grundlæggende metode inden for reinforcement learning, der kombinerer idéer fra Monte Carlo og dynamisk programmering. Du lærer, hvordan man estimerer værdifunktioner ud fra ufuldstændige episoder, udforsker både on-policy (SARSA) og off-policy (Q-learning) tilgange, samt opdager hvordan Monte Carlo-metoder og TD-læring kan kombineres.

Policyiteration

Pseudokode

Awesome!

Policyiteration

Pseudokode