Jusqu'à présent, nous avons considéré deux cas extrêmes d'apprentissage par l'expérience :

• TD(0) : utilise le retour à un pas ;
• Monte Carlo : attend la fin de l'épisode pour calculer le retour.

Mais que faire si l'on souhaite une approche intermédiaire ? Une méthode qui exploite davantage d'informations futures que TD(0), sans attendre la fin complète de l'épisode comme Monte Carlo ?

C'est ici qu'interviennent l'apprentissage TD à $n$-pas et TD($\lambda$) — des méthodes qui unifient et généralisent les concepts étudiés jusqu'à présent.

$\Large n$-Pas TD Learning

Le principe de l'apprentissage TD à $n$-pas est simple : au lieu d'utiliser uniquement l'étape suivante ou l'ensemble de l'épisode, on utilise les $n$ prochaines étapes, puis on effectue un bootstrap :

Cela permet un compromis :

• Lorsque $n = 1$ : il s'agit simplement de TD(0) ;
• Lorsque $n = \infty$ : cela devient Monte Carlo.

Ces retours peuvent alors être utilisés pour remplacer la cible dans la règle de mise à jour TD(0) :

TD($\Large\lambda$)

TD($\lambda$) est une idée ingénieuse qui s'appuie sur l'apprentissage TD à $n$ étapes : au lieu de choisir un $n$ fixe, on combine tous les retours à $n$ étapes ensemble :

où $\lambda \in [0, 1]$ contrôle la pondération :

• Si $\lambda = 0$ : seul le retour à une étape $\to$ TD(0) ;
• Si $\lambda = 1$ : retour complet $\to$ Monte Carlo ;
• Les valeurs intermédiaires mélangent plusieurs retours à différentes étapes.

Ainsi, $\lambda$ agit comme un paramètre d'ajustement du compromis biais-variance :

• Faible $\lambda$ : plus de biais, moins de variance ;
• Fort $\lambda$ : moins de biais, plus de variance.

$L_t$ peut alors être utilisé comme cible de mise à jour dans la règle de mise à jour TD(0) :