Summary  
Value iteration is an algorithm for solving Markov Decision Processes by merging policy evaluation and improvement into a single update: it repeatedly applies the Bellman optimality equation to the value function until it converges, then derives the optimal policy.  

General domain of usage  
Reinforcement learning

Selv om **policy iteration** er en effektiv metode for å løse **MDPer**, har den en betydelig ulempe: hver iterasjon innebærer et eget **policy evaluation**-steg. Når **policy evaluation** utføres **iterativt**, krever det flere gjennomganger av hele **tilstandsrommet**, noe som fører til betydelig beregningsmessig belastning og lengre kjøretider.

Et godt alternativ er **value iteration**, en metode som kombinerer policy evaluation og policy improvement i **ett enkelt steg**. Denne metoden oppdaterer verdifunksjonen direkte til den konvergerer mot **optimal verdifunksjon**. Når konvergens er oppnådd, kan **optimal policy** utledes direkte fra denne optimale verdifunksjonen.

**Value iteration** fungerer ved å utføre kun én oppdatering under policy evaluation før policy improvement. Dette gir følgende oppdateringsformel:

$$
v_{k+1}(s) \gets \max_a \sum_{s',r}p(s',r|s,a)\Bigl(r+\gamma v_k(s')\Bigr) \qquad \forall s \in S
$$

Ved å gjøre Bellmans optimalitetslikning om til en oppdateringsregel, slås policy evaluation og policy improvement sammen til ett steg.

Basert på pseudokoden, når stopper verdiiterasjonen?

Forsterkende læring (RL) er en kraftig gren av maskinlæring som fokuserer på å trene intelligente agenter gjennom interaksjon med sitt miljø. I dette kurset lærer du hvordan agenter gradvis oppdager effektive atferder gjennom prøving og feiling. Kurset starter med kjernebegreper som Markov beslutningsprosesser og multi-armede banditter, og fortsetter med dynamisk programmering, Monte Carlo-metoder og temporær differanselæring.

Denne delen introduserer kjerneprinsippene i forsterkningslæring, med fokus på dets definerende egenskaper, matematiske grunnlag og hvordan agenter lærer gjennom interaksjon og tilbakemelding. Du får også praktisk erfaring med essensielle verktøy for å forberede deg på å bygge og trene dine første RL-agenter.

Denne delen utforsker multi-armet bandittproblem — et utmerket utgangspunkt for å forstå dilemmaet mellom utforskning og utnyttelse. Du vil lære om og implementere algoritmer som hjelper agenter med å ta beslutninger under usikkerhet, og balansere maksimalisering av belønning med behovet for utforskning.

Dette avsnittet introduserer dynamisk programmering som en kraftig metode for å løse forsterkende læringsproblemer når en fullstendig modell av miljøet er tilgjengelig. Du vil lære hvordan man evaluerer og forbedrer policyer ved hjelp av Bellman-likninger og utforske sentrale teknikker som policyiterasjon, verdiiterasjon og generalisert policyiterasjon — og bygger det teoretiske grunnlaget for fremtidige modellfrie metoder.

Dette avsnittet introduserer Monte Carlo-metoder for å lære verdifunksjoner og policyer fra komplette episoder av erfaring. Du vil utforske både on-policy og off-policy tilnærminger, forstå hvordan utforskning påvirker læring, og implementere inkrementelle teknikker for effektiv estimering av avkastning — alt uten behov for en modell av miljøet.

Denne delen introduserer temporal difference (TD) læring, en grunnleggende metode innenfor forsterkende læring som kombinerer ideer fra Monte Carlo og dynamisk programmering. Du vil lære hvordan man estimerer verdifunksjoner fra ufullstendige episoder, utforske både on-policy (SARSA) og off-policy (Q-learning) tilnærminger, og oppdage hvordan Monte Carlo-metoder og TD-læring kan kombineres.

Verdiiterasjon

Hvordan fungerer det?

Pseudokode

Awesome!

Verdiiterasjon

Hvordan fungerer det?

Pseudokode