На даний момент ми розглядали два крайні випадки навчання на основі досвіду:

• TD(0): використовує однокрокову віддачу;
• Монте-Карло: чекає завершення епізоду для обчислення віддачі.

Але що, якщо нам потрібно щось посередині? Метод, який використовує більше інформації про майбутнє, ніж TD(0), але не вимагає чекати завершення всього епізоду, як Монте-Карло?

Саме тут з'являються $n$-крокове TD-навчання та TD($\lambda$) — методи, які об'єднують і узагальнюють ідеї, розглянуті раніше.

$\Large n$-крокове TD-навчання

Ідея $n$-крокового TD-навчання проста: замість використання лише наступного кроку або всього епізоду, ми використовуємо наступні $n$ кроків, а потім застосовуємо бутстрепінг:

Це дозволяє здійснювати компроміс:

• Коли $n = 1$: це просто TD(0);
• Коли $n = \infty$: це стає Монте-Карло.

Ці віддачі можна використовувати для заміни цільового значення у правилі оновлення TD(0):

TD($\Large\lambda$)

TD($\lambda$) — це вдала ідея, що базується на $n$-кроковому TD-навчанні: замість вибору фіксованого $n$, об'єднуються усі $n$-крокові повернення разом:

де $\lambda \in [0, 1]$ визначає вагу:

• Якщо $\lambda = 0$: лише однокрокове повернення $\to$ TD(0);
• Якщо $\lambda = 1$: повне повернення $\to$ Monte Carlo;
• Проміжні значення поєднують кілька крокових повернень.

Таким чином, $\lambda$ виступає як регулятор компромісу між зміщенням і дисперсією:

• Низьке $\lambda$: більше зміщення, менше дисперсії;
• Високе $\lambda$: менше зміщення, більше дисперсії.

$L_t$ може бути використано як цільове значення для оновлення у правилі TD(0):