Summary  
This chapter covers the programming concept of modeling a Markov Decision Process by defining its core components—states, actions, transitions, and rewards—and ensuring the Markov property so that future outcomes depend only on the current state and action.  

General domain of usage  
Reinforcement learning

**Markovbeslutsprocess (MDP)** är en matematisk ram som används för att modellera **beslutsfattande** problem där en **agent** interagerar med en **miljö** över tid.


Definition

**Förstärkningsinlärningsproblem** formuleras ofta som **MDP:er**, vilket ger ett strukturerat sätt att definiera problemet. **MDP:er** beskriver **miljön** med hjälp av **fyra nyckelkomponenter: tillstånd, handlingar, övergångar och belöningar**. Dessa komponenter samverkar enligt **Markovegenskapen**, som säkerställer att framtida tillstånd beror **endast** på **nuvarande tillstånd och handling**, inte på tidigare tillstånd.

Ett **tillstånd** $$s$$ är en representation av miljön vid en specifik tidpunkt. Mängden av alla möjliga tillstånd kallas **tillståndsrum** $$S$$.


Ett **tillstånd** representeras vanligtvis av en uppsättning parametrar som **fångar de relevanta egenskaperna** hos **miljön**. Dessa **parametrar** kan inkludera olika aspekter såsom position, hastighet, rotation, etc.

En **åtgärd** $$a$$ är ett beslut eller ett drag som agenten gör för att påverka miljön. Mängden av alla möjliga åtgärder kallas för ett **aktionsutrymme** $$A$$.

Mängden av **möjliga åtgärder** beror vanligtvis på **nuvarande tillstånd**.

**Övergång** beskriver hur miljöns tillstånd **förändras** som svar på agentens handling. **Övergångsfunktionen** $$p$$ anger **sannolikheten** för att gå från ett tillstånd till ett annat, givet en specifik handling.

I många fall kan **miljöer** vara antingen **deterministiska** eller **stokastiska**, vilket innebär att övergången kan vara **förutsägbar** eller **innefatta en viss grad av slumpmässighet**.

En **belöning** $$r$$ är ett numeriskt värde som **agenten** får efter att ha utfört en **åtgärd** i ett visst **tillstånd**. **Funktionen** som kopplar **övergångar** till **förväntade belöningar** kallas **belöningsfunktion** $$R$$.


**Belöningar** styr agenten mot **önskvärt beteende** och kan vara antingen **positiva** eller **negativa**. Belöningsdesign är komplext, eftersom agenten kan försöka **utnyttja belöningarna**.

## Markovegenskapen
**Markovegenskapen** i en Markovbeslutsprocess innebär att **nästa tillstånd och belöning** beror **endast** på **nuvarande tillstånd och handling**, inte på tidigare information. Detta säkerställer en **minneslös** struktur, vilket förenklar inlärningsprocessen.



Matematiskt kan denna egenskap beskrivas med följande formel:
$$
\begin{aligned}
&P(R_{t+1} = r, S_{t+1} = s' | S_t, A_t)=\\
=&P(R_{t+1} = r, S_{t+1} = s' | S_0, A_0, R_1,..., S_{t-1}, A_{t-1}, R_t, S_t, A_t)
\end{aligned}
$$

där:
- $$S_t$$ är ett tillstånd vid tidpunkt $$t$$;
- $$A_t$$ är en åtgärd som utförs vid tidpunkt $$t$$;
- $$R_t$$ är en belöning vid tidpunkt $$t$$.

Den **minneslösa** egenskapen hos MDP innebär **inte** att tidigare observationer **ignoreras**. Det **aktuella tillståndet** bör koda **all** relevant historisk information.

Notering

Föreställ dig att agenten spelar ett spel. Vilket av dessa är en bra representation av miljöns tillstånd i en MDP?

Reinforcement Learning (RL) är en kraftfull gren av maskininlärning som fokuserar på att träna intelligenta agenter genom interaktion med sin omgivning. I denna kurs lär du dig hur agenter gradvis upptäcker effektiva beteenden genom försök och misstag. Med början i grundläggande begrepp som Markovbeslutsprocesser och multiarmade banditer, går du vidare till dynamisk programmering, Monte Carlo-metoder och temporär differensinlärning.

Upptäck hur agenter tränas att fatta optimala beslut genom trial and error. Utforska grunderna i förstärkningsinlärningens teori. Få praktisk erfarenhet av att konfigurera och köra en Gymnasium-miljö.

Bemästra utforsknings- och exploateringsavvägningen genom multi-armed bandit-problemet. Implementera åtgärdsvärdesuppskattning, ε-girig, övre konfidensgräns och gradient-banditmetoder. Utvärdera algoritmers prestanda på simulerade belöningsmaximeringsuppgifter.

Behärska dynamisk programmering för modellbaserad RL. Upptäck hur Bellmans ekvationer kan användas för att utvärdera och förbättra policies.
Implementera algoritmer för policy- och värdeiteration.
Utforska generaliserad policyiteration som den teoretiska grunden för modellfria metoder.

Behärska Monte Carlo-metoder för modellfri RL. Uppskatta värdefunktioner och härled optimala policies från fullständiga episoder. Implementera on-policy och off-policy Monte Carlo-kontrollalgoritmer. Utforska strategier för utforskning för att optimera modellfritt lärande.

Behärska temporär differensinlärning för modellfri RL. Skatta värdefunktioner från partiella episoder med hjälp av TD(0)-uppdateringar. Implementera on-policy SARSA och off-policy Q-Learning-algoritmer. Utforska hur Monte Carlo-metoder och TD-inlärning kombineras i n-stegs TD och TD(λ).

Markovbeslutsprocess

De fyra komponenterna

Tillstånd

Åtgärd

Övergång

Belöning

Markovegenskapen