Summary  
Temporal Difference Learning is a reinforcement learning technique that incrementally updates state‐value estimates by bootstrapping on future state values while learning directly from experience in a loop of estimate, action, reward, and update.  

General domain of usage  
Sequential decision‐making in reinforcement learning.

Både dynamisk programmering och Monte Carlo-metoder har några utmärkta idéer och vissa stora nackdelar.

Dynamisk programmering har ett sätt att effektivt beräkna tillståndsvärdesfunktionen och härleda en optimal policy från den. Den använder **bootstrapping** — beräkning av nuvarande tillstånds värde baserat på framtida tillstånds värden — för att uppnå detta.

Och även om idén med bootstrapping är kraftfull, har dynamisk programmering **två stora nackdelar**:
- Den kräver en fullständig och explicit modell av miljön;
- Tillståndsvärden beräknas för varje tillstånd, även om tillståndet inte alls ligger nära den optimala vägen.

Monte Carlo-metoder åtgärdar de två nackdelarna som dynamisk programmering har:
- De kräver ingen modell, eftersom de lär sig av erfarenhet;
- Sättet de lär sig av erfarenhet gör att utforskningen blir mer begränsad, så oviktiga tillstånd besöks sällan.

Men de introducerar en ny nackdel — inlärningsprocessen sker först efter att episoden avslutats. Detta begränsar användbarheten av Monte Carlo-metoder till små episodiska uppgifter, eftersom större uppgifter skulle kräva ett orimligt stort antal handlingar innan episoden avslutas.

**Temporal difference (TD) learning** är resultatet av att kombinera idéer från både dynamisk programmering och Monte Carlo-metoder. Det tar **lärande från erfarenhet**-tillvägagångssättet från Monte Carlo-metoder och kombinerar det med **bootstrapping** från dynamisk programmering.

Definition

Som ett resultat åtgärdar TD-lärande de största problemen som de två metoderna har:
- **Lärande från erfarenhet** hanterar problemet med att kräva en modell och problemet med stora tillståndsrymder;
- **Bootstrapping** hanterar problemet med episodiskt lärande.


TD-inlärning fungerar genom en enkel slinga:
1. **Uppskatta värdet**: agenten börjar med en initial gissning om hur bra det nuvarande tillståndet är;
2. **Utför en handling**: den utför en handling, får en belöning och hamnar i ett nytt tillstånd;
3. **Uppdatera uppskattningen**: med hjälp av belöningen och värdet av det nya tillståndet justerar agenten sin ursprungliga uppskattning något för att göra den mer exakt;
4. **Upprepa**: över tid, genom att upprepa denna slinga, bygger agenten gradvis upp bättre och mer exakta värdeuppskattningar för olika tillstånd.

Hur kombinerar Temporal Difference-inlärning styrkorna hos dynamisk programmering och Monte Carlo-metoder?

Reinforcement Learning (RL) är en kraftfull gren av maskininlärning som fokuserar på att träna intelligenta agenter genom interaktion med sin omgivning. I denna kurs lär du dig hur agenter gradvis upptäcker effektiva beteenden genom försök och misstag. Med början i grundläggande begrepp som Markovbeslutsprocesser och multiarmade banditer, går du vidare till dynamisk programmering, Monte Carlo-metoder och temporär differensinlärning.

Upptäck hur agenter tränas att fatta optimala beslut genom trial and error. Utforska grunderna i förstärkningsinlärningens teori. Få praktisk erfarenhet av att konfigurera och köra en Gymnasium-miljö.

Bemästra utforsknings- och exploateringsavvägningen genom multi-armed bandit-problemet. Implementera åtgärdsvärdesuppskattning, ε-girig, övre konfidensgräns och gradient-banditmetoder. Utvärdera algoritmers prestanda på simulerade belöningsmaximeringsuppgifter.

Behärska dynamisk programmering för modellbaserad RL. Upptäck hur Bellmans ekvationer kan användas för att utvärdera och förbättra policies.
Implementera algoritmer för policy- och värdeiteration.
Utforska generaliserad policyiteration som den teoretiska grunden för modellfria metoder.

Behärska Monte Carlo-metoder för modellfri RL. Uppskatta värdefunktioner och härled optimala policies från fullständiga episoder. Implementera on-policy och off-policy Monte Carlo-kontrollalgoritmer. Utforska strategier för utforskning för att optimera modellfritt lärande.

Behärska temporär differensinlärning för modellfri RL. Skatta värdefunktioner från partiella episoder med hjälp av TD(0)-uppdateringar. Implementera on-policy SARSA och off-policy Q-Learning-algoritmer. Utforska hur Monte Carlo-metoder och TD-inlärning kombineras i n-stegs TD och TD(λ).

Vad är Temporär Differensinlärning?

Dynamisk programmering

Monte Carlo-metoder

Temporär differensinlärning

Hur fungerar det?

Jämförelsetabell