Tot nu toe hebben we twee uiterste gevallen van leren uit ervaring besproken:

• TD(0): gebruikt de eenstaps-terugkeer;
• Monte Carlo: wacht tot het einde van de episode om de terugkeer te berekenen.

Maar wat als we iets daartussenin willen? Iets dat meer toekomstige informatie benut dan TD(0), maar niet hoeft te wachten tot het einde van de volledige episode zoals Monte Carlo?

Hier komen $n$-staps TD-leren en TD($\lambda$) in beeld — methoden die de ideeën die we tot nu toe hebben gezien verenigen en generaliseren.

$\Large n$-Staps TD-Leren

Het idee achter $n$-staps TD-leren is eenvoudig: in plaats van alleen de volgende stap of de gehele episode te gebruiken, gebruiken we de volgende $n$ stappen en passen vervolgens bootstrapping toe:

Dit maakt een afweging mogelijk:

• Wanneer $n = 1$: dan is het gewoon TD(0);
• Wanneer $n = \infty$: dan wordt het Monte Carlo.

Deze terugkeerwaarden kunnen vervolgens worden gebruikt om een doel te vervangen in de TD(0)-update regel:

TD($\Large\lambda$)

TD($\lambda$) is een slimme benadering die voortbouwt op het $n$-staps TD-leren: in plaats van een vaste $n$ te kiezen, combineren we alle $n$-staps opbrengsten samen:

waarbij $\lambda \in [0, 1]$ de weging bepaalt:

• Als $\lambda = 0$: alleen één-staps opbrengst $\to$ TD(0);
• Als $\lambda = 1$: volledige opbrengst $\to$ Monte Carlo;
• Intermediaire waarden mengen meerdere stapsopbrengsten.

Dus $\lambda$ fungeert als een bias-variantie-afwegingsknop:

• Lage $\lambda$: meer bias, minder variantie;
• Hoge $\lambda$: minder bias, meer variantie.

$L_t$ kan vervolgens worden gebruikt als update-doel in de TD(0) update-regel: