Hasta ahora, hemos considerado dos casos extremos de aprendizaje a partir de la experiencia:

• TD(0): utiliza el retorno de un solo paso;
• Monte Carlo: espera hasta el final del episodio para calcular el retorno.

¿Pero qué sucede si queremos algo intermedio? Algo que aproveche más información futura que TD(0), pero que no requiera esperar hasta el final del episodio como Monte Carlo.

Aquí es donde entran el aprendizaje TD de $n$ pasos y TD($\lambda$): métodos que unifican y generalizan las ideas que hemos visto hasta ahora.

$\Large n$-Paso Aprendizaje TD

La idea detrás del aprendizaje TD de $n$ pasos es sencilla: en lugar de usar solo el siguiente paso o todo el episodio, utilizamos los siguientes $n$ pasos y luego aplicamos bootstrap:

Esto permite un equilibrio:

• Cuando $n = 1$: es simplemente TD(0);
• Cuando $n = \infty$: se convierte en Monte Carlo.

Estos retornos pueden utilizarse para reemplazar el objetivo en la regla de actualización de TD(0):

TD($\Large\lambda$)

TD($\lambda$) es una idea ingeniosa que se basa en el aprendizaje TD de $n$ pasos: en lugar de elegir un $n$ fijo, combinamos todos los retornos de $n$ pasos juntos:

donde $\lambda \in [0, 1]$ controla la ponderación:

• Si $\lambda = 0$: solo el retorno de un paso $\to$ TD(0);
• Si $\lambda = 1$: retorno completo $\to$ Monte Carlo;
• Valores intermedios mezclan múltiples retornos de varios pasos.

Así, $\lambda$ actúa como un ajuste de compromiso entre sesgo y varianza:

• $\lambda$ bajo: más sesgo, menos varianza;
• $\lambda$ alto: menos sesgo, más varianza.

$L_t$ puede utilizarse como objetivo de actualización en la regla de actualización TD(0):