Tot nu toe hebben we twee uiterste gevallen van leren uit ervaring besproken:

• TD(0): gebruikt de één-staps opbrengst;
• Monte Carlo: wacht tot het einde van de episode om de opbrengst te berekenen.

Maar wat als we iets daartussenin willen? Iets dat meer toekomstige informatie benut dan TD(0), maar niet hoeft te wachten tot het einde van de volledige episode zoals Monte Carlo?

Hier komen $n$-staps TD-leren en TD($\lambda$) in beeld — methoden die de ideeën die we tot nu toe hebben gezien verenigen en generaliseren.

$\Large n$-staps TD-leren

Het idee achter $n$-staps TD-leren is eenvoudig: in plaats van alleen de volgende stap of de gehele episode te gebruiken, gebruiken we de volgende $n$ stappen en passen vervolgens bootstrapping toe:

Dit maakt een afweging mogelijk:

• Wanneer $n = 1$: dan is het gewoon TD(0);
• Wanneer $n = \infty$: dan wordt het Monte Carlo.

Deze opbrengsten kunnen vervolgens worden gebruikt om het doel in de TD(0)-update regel te vervangen:

TD($\Large\lambda$)

TD($\lambda$) is een slimme benadering die voortbouwt op $n$-staps TD-leren: in plaats van een vaste $n$ te kiezen, combineren we alle $n$-staps opbrengsten samen:

waarbij $\lambda \in [0, 1]$ de weging bepaalt:

• Als $\lambda = 0$: alleen één-staps opbrengst $\to$ TD(0);
• Als $\lambda = 1$: volledige opbrengst $\to$ Monte Carlo;
• Intermediaire waarden mengen meerdere stapsopbrengsten.

Dus $\lambda$ fungeert als een bias-variantie-afwegingsknop:

• Lage $\lambda$: meer bias, minder variantie;
• Hoge $\lambda$: minder bias, meer variantie.

$L_t$ kan vervolgens worden gebruikt als update-doel in de TD(0) update-regel: