Finora abbiamo considerato due casi estremi di apprendimento dall'esperienza:

• TD(0): utilizza il ritorno a un passo;
• Monte Carlo: attende la fine dell'episodio per calcolare il ritorno.

Ma cosa succede se desideriamo qualcosa di intermedio? Un metodo che sfrutti più informazioni future rispetto a TD(0), ma che non richieda di attendere l'intero episodio come Monte Carlo?

Qui entrano in gioco l'apprendimento TD a $n$ passi e TD($\lambda$) — metodi che unificano e generalizzano i concetti visti finora.

$\Large n$-Passi TD Learning

L'idea alla base dell'apprendimento TD a $n$ passi è semplice: invece di utilizzare solo il passo successivo o l'intero episodio, si utilizzano i prossimi $n$ passi, quindi si effettua il bootstrap:

Questo consente un compromesso:

• Quando $n = 1$: equivale a TD(0);
• Quando $n = \infty$: diventa Monte Carlo.

Questi ritorni possono quindi essere utilizzati per sostituire il target nella regola di aggiornamento di TD(0):

TD($\Large\lambda$)

TD($\lambda$) è un'idea ingegnosa che si basa sull'apprendimento TD a $n$ passi: invece di scegliere un valore fisso di $n$, si combinano tutti i ritorni a $n$ passi insieme:

dove $\lambda \in [0, 1]$ controlla la ponderazione:

• Se $\lambda = 0$: solo il ritorno a un passo $\to$ TD(0);
• Se $\lambda = 1$: ritorno completo $\to$ Monte Carlo;
• Valori intermedi mescolano ritorni a più passi.

Quindi $\lambda$ funge da regolatore del compromesso bias-varianza:

• Basso $\lambda$: più bias, meno varianza;
• Alto $\lambda$: meno bias, più varianza.

$L_t$ può quindi essere utilizzato come target di aggiornamento nella regola di aggiornamento TD(0):