De eenvoudigste versie van TD-learning wordt TD(0) genoemd. Hierbij wordt de waarde van een toestand bijgewerkt op basis van de directe beloning en de geschatte waarde van de volgende toestand. Dit is een één-staps TD-methode.

Bijwerkingsregel

Gegeven een toestand $S_t$, beloning $R_{t+1}$ en volgende toestand $S_{t+1}$, ziet de bijwerkingsregel er als volgt uit:

waarbij

• $\alpha$ een leersnelheid of stapgrootte is;
• $\delta_t = R_{t+1}+\gamma V(S_{t+1}) - V(S_t)$ een TD-fout is.

Intuïtie

De toestandwaardefunctie $v_\pi$ kan als volgt worden gedefinieerd en uitgebreid:

Dit geeft het eerste deel van $\delta_t$ — de ervaren opbrengst $R_{t+1} + \gamma V(S_{t+1})$. En het tweede deel van $\delta_t$ is de verwachte opbrengst $V(S_t)$. De TD-fout $\delta_t$​ is dus het waarneembare verschil tussen wat daadwerkelijk gebeurde en wat we eerder verwachtten dat zou gebeuren. De bijwerkingsregel past het eerdere geloof bij elke stap een beetje aan, waardoor het dichter bij de werkelijkheid komt.

TD(0) versus Monte Carlo-schatting

Zowel TD(0) als Monte Carlo-schatting gebruiken gesamplede ervaringen om de waarde van de toestandsfunctie $v_\pi(s)$ voor een beleid $\pi$ te schatten. Onder standaard convergentievoorwaarden convergeren beide naar de werkelijke $v_\pi(s)$ wanneer het aantal bezoeken aan elke toestand naar oneindig gaat. In de praktijk is er echter slechts een beperkte hoeveelheid data beschikbaar, en de twee methoden verschillen aanzienlijk in hoe ze die data gebruiken en hoe snel ze leren.

Bias-variantie-afweging

Vanuit het perspectief van de bias–variantie-afweging:

Monte Carlo-schatting wacht tot een episode is afgelopen en gebruikt dan de volledige opbrengst om waarden bij te werken. Dit levert onbevooroordeelde schattingen op — de opbrengsten weerspiegelen daadwerkelijk de onderliggende verdeling — maar ze kunnen sterk fluctueren, vooral bij lange of zeer stochastische taken. Hoge variantie betekent dat veel episodes nodig zijn om de ruis uit te middelen en stabiele waardeschattingen te verkrijgen.

TD(0) maakt gebruik van bootstrapping door elke één-staps beloning te combineren met de huidige schatting van de waarde van de volgende toestand. Dit introduceert bias — vroege updates zijn gebaseerd op onvolledige schattingen — maar houdt de variantie laag, omdat elke update gebaseerd is op een kleine, incrementele fout. Lagere variantie zorgt ervoor dat TD(0) beloningsinformatie sneller door de toestandsruimte kan verspreiden, ook al kan initiële bias de convergentie vertragen.

Leerdata versus leermodel

Een andere manier om naar deze twee methoden te kijken is door te analyseren wat ze daadwerkelijk leren:

Monte Carlo-schatting leert direct van de geobserveerde opbrengsten en past zijn waarde-inschattingen aan op basis van de specifieke episodes die het heeft gezien. Dit betekent dat het de fout op deze trainingsreeksen minimaliseert, maar omdat het nooit een expliciet beeld opbouwt van hoe toestanden in elkaar overgaan, kan het moeite hebben om te generaliseren naar nieuwe of iets andere situaties.

TD(0) daarentegen bootstrapt bij elke één-stapstransitie, waarbij het de directe beloning combineert met zijn schatting van de waarde van de volgende toestand. Hierdoor legt het effectief de relaties tussen toestanden vast — een impliciet model van de dynamiek van de omgeving. Dit modelachtige begrip stelt TD(0) in staat beter te generaliseren naar niet eerder geziene overgangen, wat vaak leidt tot nauwkeurigere waarde-inschattingen op nieuwe data.

Pseudocode