Summary  
Temporal Difference Learning is a reinforcement learning technique that incrementally updates state‐value estimates by bootstrapping on future state values while learning directly from experience in a loop of estimate, action, reward, and update.  

General domain of usage  
Sequential decision‐making in reinforcement learning.

Zowel dynamisch programmeren als Monte Carlo-methoden bevatten sterke ideeën, maar ook belangrijke nadelen.

Dynamisch programmeren biedt een efficiënte manier om de waarde van toestanden te berekenen en hieruit een optimaal beleid af te leiden. Het maakt gebruik van **bootstrapping** — het berekenen van de waarde van de huidige toestand op basis van de waarden van toekomstige toestanden — om dit te bereiken.

Hoewel het idee van bootstrapping krachtig is, kent dynamisch programmeren **twee grote nadelen**:
- Er is een volledig en expliciet model van de omgeving vereist;
- De waarden van toestanden worden voor elke toestand berekend, zelfs als deze toestand zich ver van het optimale pad bevindt.

Monte Carlo-methoden lossen de twee nadelen van dynamisch programmeren op:
- Ze vereisen geen model, omdat ze leren van ervaring;
- Door de manier waarop ze leren van ervaring, wordt exploratie meer beperkt, waardoor onbelangrijke toestanden zelden bezocht worden.

Maar ze introduceren een nieuw nadeel — het leerproces vindt pas plaats nadat de episode is afgelopen. Dit beperkt de toepasbaarheid van Monte Carlo-methoden tot kleine episodische taken, omdat grotere taken een absurd groot aantal acties zouden vereisen voordat de episode eindigt.

**Temporal difference (TD) learning** is het resultaat van het combineren van ideeën uit zowel dynamisch programmeren als Monte Carlo-methoden. Het neemt de **leren van ervaring** benadering van Monte Carlo-methoden en combineert dit met **bootstrapping** uit dynamisch programmeren.

Definitie

Als resultaat lost TD learning de belangrijkste problemen van beide methoden op:
- **Leren van ervaring** pakt het probleem van het vereisen van een model en het probleem van grote toestandsruimtes aan;
- **Bootstrapping** pakt het probleem van episodisch leren aan.


TD-leren werkt via een eenvoudige lus:
1. **Waarde schatten**: de agent begint met een eerste inschatting van hoe goed de huidige toestand is;
2. **Actie uitvoeren**: de agent voert een actie uit, ontvangt een beloning en komt in een nieuwe toestand terecht;
3. **Schatting bijwerken**: met behulp van de beloning en de waarde van de nieuwe toestand past de agent zijn oorspronkelijke schatting lichtjes aan om deze nauwkeuriger te maken;
4. **Herhalen**: door deze lus herhaaldelijk uit te voeren, bouwt de agent geleidelijk betere en nauwkeurigere waardeschattingen op voor verschillende toestanden.

Hoe combineert Temporal Difference Learning de sterke punten van dynamisch programmeren en Monte Carlo-methoden?

Reinforcement Learning (RL) is een krachtige tak van machine learning die zich richt op het trainen van intelligente agenten door interactie met hun omgeving. In deze cursus leer je hoe agenten geleidelijk effectieve gedragingen ontdekken via trial-and-error. Beginnend met kernconcepten zoals Markov-beslissingsprocessen en multi-armed bandits, werk je verder met dynamisch programmeren, Monte Carlo-methoden en temporal difference learning.

Ontdek hoe agenten getraind kunnen worden om optimale beslissingen te nemen via trial-and-error. Verken de essentiële theorie van reinforcement learning. Doe praktische ervaring op met het opzetten en uitvoeren van een Gymnasium-omgeving.

Beheers de exploratie-exploitatie-afweging via het multi-armed bandit probleem. Implementeer actie-waarde schatting, ε-greedy, upper confidence bound en gradient-bandit methoden. Evalueer de prestaties van algoritmen op gesimuleerde beloningsmaximalisatietaken.

Beheers dynamisch programmeren voor modelgebaseerde RL. Ontdek hoe Bellman-vergelijkingen kunnen worden gebruikt om beleid te evalueren en te verbeteren. Implementeer algoritmen voor beleid- en waarde-iteratie. Verken gegeneraliseerde beleid-iteratie als het theoretische fundament voor modelvrije methoden.

Beheers Monte Carlo-methoden voor modelvrije RL. Waarde-functies schatten en optimale beleidslijnen afleiden uit volledige episodes. Implementatie van on-policy en off-policy Monte Carlo-controle-algoritmen. Ontdek verkenningsstrategieën om modelvrij leren te optimaliseren.

Beheers tijdverschil leren voor modelvrije RL. Waarde-functies schatten uit gedeeltelijke episodes met behulp van TD(0)-updates. Implementeer on-policy SARSA- en off-policy Q-Learning-algoritmen. Ontdek hoe Monte Carlo-methoden en TD-leren worden gecombineerd in n-staps TD en TD(λ).

Wat is Temporeel Verschil Leren?

Dynamisch programmeren

Monte Carlo-methoden

Temporal Difference Learning

Hoe werkt het?

Vergelijkingstabel