Hittills har vi betraktat två extrema fall av inlärning från erfarenhet:

• TD(0): använder ettstegsavkastning;
• Monte Carlo: väntar till slutet av episoden för att beräkna avkastningen.

Men vad händer om vi vill ha något däremellan? Något som utnyttjar mer framtida information än TD(0), men som inte behöver vänta på hela episoden som Monte Carlo?

Det är här $n$-stegs TD-inlärning och TD($\lambda$) kommer in — metoder som förenar och generaliserar de idéer vi hittills har sett.

$\Large n$-stegs TD-inlärning

Idén bakom $n$-stegs TD-inlärning är enkel: istället för att använda bara nästa steg eller hela episoden, använder vi nästa $n$ steg, och därefter bootstrapping:

Detta möjliggör en avvägning:

• När $n = 1$: är det bara TD(0);
• När $n = \infty$: blir det Monte Carlo.

Denna avkastning kan sedan användas för att ersätta målet i TD(0)-uppdateringsregeln:

TD($\Large\lambda$)

TD($\lambda$) är en smart idé som bygger vidare på $n$-stegs TD-inlärning: istället för att välja ett fast $n$, kombinerar vi alla $n$-stegsavkastningar tillsammans:

där $\lambda \in [0, 1]$ styr viktningen:

• Om $\lambda = 0$: endast enstegsavkastning $\to$ TD(0);
• Om $\lambda = 1$: fullständig avkastning $\to$ Monte Carlo;
• Mellanvärden blandar flera stegsavkastningar.

Så $\lambda$ fungerar som en reglage för bias-varianskompromiss:

• Låg $\lambda$: mer bias, mindre varians;
• Hög $\lambda$: mindre bias, mer varians.

$L_t$ kan sedan användas som uppdateringsmål i TD(0)-uppdateringsregeln: