Indtil nu har vi betragtet to ekstreme tilfælde af læring fra erfaring:

• TD(0): anvender ét-trins afkast;
• Monte Carlo: venter til slutningen af episoden for at beregne afkastet.

Men hvad hvis vi ønsker noget midt imellem? Noget der udnytter mere fremtidig information end TD(0), men som ikke behøver at vente på hele episoden som Monte Carlo?

Her kommer $n$-trins TD-læring og TD($\lambda$) ind i billedet — metoder, der forener og generaliserer de idéer, vi hidtil har set.

$\Large n$-Trins TD-læring

Idéen bag $n$-trins TD-læring er enkel: i stedet for kun at bruge det næste trin eller hele episoden, anvender vi de næste $n$ trin, og anvender derefter bootstrapping:

Dette muliggør en afvejning:

• Når $n = 1$: svarer det til TD(0);
• Når $n = \infty$: bliver det Monte Carlo.

Disse afkast kan derefter bruges til at erstatte målet i TD(0) opdateringsreglen:

TD($\Large\lambda$)

TD($\lambda$) er en smart idé, der bygger oven på $n$-trins TD-læring: i stedet for at vælge et fast $n$, kombinerer vi alle $n$-trins afkast sammen:

hvor $\lambda \in [0, 1]$ styrer vægtningen:

• Hvis $\lambda = 0$: kun ét-trins afkast $\to$ TD(0);
• Hvis $\lambda = 1$: fuldt afkast $\to$ Monte Carlo;
• Mellem-værdier blander flere trins afkast.

Så $\lambda$ fungerer som en bias-varians afvejning:

• Lav $\lambda$: mere bias, mindre varians;
• Høj $\lambda$: mindre bias, mere varians.

$L_t$ kan derefter bruges som opdateringsmål i TD(0)-opdateringsreglen: