На даний момент ми розглядали два крайні випадки навчання на досвіді:

• TD(0): використовує однокрокову оцінку повернення;
• Монте-Карло: чекає завершення епізоду для обчислення повернення.

Але що, якщо нам потрібно щось посередині? Метод, який враховує більше інформації про майбутнє, ніж TD(0), але не вимагає чекати завершення всього епізоду, як Монте-Карло?

Саме тут з'являються $n$-крокове TD-навчання та TD($\lambda$) — методи, які об'єднують і узагальнюють ідеї, розглянуті раніше.

$\Large n$-крокове TD-навчання

Ідея $n$-крокового TD-навчання проста: замість використання лише наступного кроку або всього епізоду, ми використовуємо наступні $n$ кроків, а потім застосовуємо бутстрепінг:

Це дозволяє налаштовувати компроміс:

• Якщо $n = 1$: це просто TD(0);
• Якщо $n = \infty$: це стає Монте-Карло.

Ці повернення можна використовувати для заміни цільового значення у правилі оновлення TD(0):

TD($\Large\lambda$)

TD($\lambda$) — це вдала ідея, що базується на $n$-кроковому TD-навчанні: замість вибору фіксованого $n$, ми об'єднуємо усі $n$-крокові повернення разом:

де $\lambda \in [0, 1]$ визначає вагу:

• Якщо $\lambda = 0$: лише одно-крокове повернення $\to$ TD(0);
• Якщо $\lambda = 1$: повне повернення $\to$ Monte Carlo;
• Проміжні значення поєднують кілька крокових повернень.

Таким чином, $\lambda$ виступає як регулятор компромісу між зміщенням і дисперсією:

• Низьке $\lambda$: більше зміщення, менше дисперсії;
• Високе $\lambda$: менше зміщення, більше дисперсії.

$L_t$ потім може використовуватися як цільове значення для оновлення у правилі TD(0):