Til nå har vi vurdert to ytterpunkter for læring fra erfaring:

• TD(0): bruker ettstegs retur;
• Monte Carlo: venter til slutten av episoden for å beregne returverdien.

Men hva om vi ønsker noe midt imellom? Noe som utnytter mer fremtidig informasjon enn TD(0), men som ikke trenger å vente til hele episoden er ferdig slik som Monte Carlo?

Dette er hvor $n$-stegs TD-læring og TD($\lambda$) kommer inn — metoder som forener og generaliserer ideene vi har sett så langt.

$\Large n$-stegs TD-læring

Ideen bak $n$-stegs TD-læring er enkel: i stedet for å bruke bare neste steg eller hele episoden, bruker vi de neste $n$ stegene, og deretter bootstrapper vi:

Dette gir en avveining:

• Når $n = 1$: er det bare TD(0);
• Når $n = \infty$: blir det Monte Carlo.

Disse returverdiene kan deretter brukes til å erstatte målet i TD(0)-oppdateringsregelen:

TD($\Large\lambda$)

TD($\lambda$) er et smart konsept som bygger videre på $n$-stegs TD-læring: i stedet for å velge en fast $n$, kombinerer vi alle $n$-stegs avkastninger sammen:

hvor $\lambda \in [0, 1]$ styrer vektingen:

• Hvis $\lambda = 0$: kun ett-stegs avkastning $\to$ TD(0);
• Hvis $\lambda = 1$: full avkastning $\to$ Monte Carlo;
• Mellomverdier blander flere stegs avkastninger.

Dermed fungerer $\lambda$ som en bias-varians-justering:

• Lav $\lambda$: mer bias, mindre varians;
• Høy $\lambda$: mindre bias, mer varians.

$L_t$ kan deretter brukes som oppdateringsmål i TD(0)-oppdateringsregelen: