Свайпніть щоб показати меню

Найпростіша версія TD-навчання називається TD(0). Вона оновлює значення стану на основі негайної винагороди та оціненого значення наступного стану. Це однокроковий метод TD.

Правило оновлення

Для заданого стану $S_t$ , винагороди $R_{t+1}$ та наступного стану $S_{t+1}$ правило оновлення виглядає так:

V(S_t) \gets V(S_t) + \alpha\Bigl(R_{t+1}+\gamma V(S_{t+1}) - V(S_t)\Bigr)

де

$\alpha$ — коефіцієнт навчання або розмір кроку;
$\delta_t = R_{t+1}+\gamma V(S_{t+1}) - V(S_t)$ — TD-помилка.

Інтуїція

Функцію значення стану $v_\pi$ можна визначити та розкласти наступним чином:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &= \E_\pi[G_t | S_t = s] \\ &= \E_\pi[R_t + \gamma G_{t+1} | S_t = s] \\ &= \E_\pi[R_t + \gamma v_\pi(S_{t+1}) | S_t = s] \end{aligned}

Це дає першу частину $\delta_t$ — отриману винагороду $R_{t+1} + \gamma V(S_{t+1})$ . Друга частина $\delta_t$ — це очікувана винагорода $V(S_t)$ . TD-помилка $\delta_t$ — це спостережувана різниця між тим, що фактично сталося, і тим, що ми раніше очікували. Таким чином, правило оновлення коригує попереднє уявлення на кожному кроці, наближаючи його до істини.

TD(0) проти оцінки Монте-Карло

І TD(0), і оцінка Монте-Карло використовують вибірковий досвід для оцінки функції цінності стану $v_\pi(s)$ для політики $\pi$ . За стандартних умов збіжності обидва методи сходяться до істинного $v_\pi(s)$ , коли кількість відвідувань кожного стану прямує до нескінченності. Проте на практиці ми завжди маємо лише скінченну кількість даних, і ці два методи суттєво відрізняються тим, як вони використовують ці дані та з якою швидкістю навчаються.

Компроміс між зміщенням і дисперсією

З точки зору компромісу між зміщенням і дисперсією:

Оцінювання методом Монте-Карло очікує завершення епізоду та використовує повну суму винагород для оновлення значень. Це дає незміщені оцінки — повернення дійсно відображають базовий розподіл, але вони можуть сильно коливатися, особливо у довгих або дуже стохастичних завданнях. Висока дисперсія означає, що потрібно багато епізодів, щоб усереднити шум і отримати стабільні оцінки значень.

TD(0) використовує бутстрепінг, комбінуючи кожну одно-крокову винагороду з поточною оцінкою значення наступного стану. Це вводить зміщення — ранні оновлення ґрунтуються на неточних оцінках — але зберігає низьку дисперсію, оскільки кожне оновлення базується на невеликій, поступовій помилці. Низька дисперсія дозволяє TD(0) швидше поширювати інформацію про винагороду через простір станів, хоча початкове зміщення може уповільнювати збіжність.

Навчання на даних проти навчання моделі

Інший спосіб розглянути ці два методи — проаналізувати, чого саме кожен із них навчається:

Оцінювання Монте-Карло навчається безпосередньо на основі спостережуваних повернень, фактично підганяючи свої оцінки цінності під конкретні епізоди, які воно бачило. Це означає, що воно мінімізує помилку на цих навчальних траєкторіях, але оскільки ніколи не формує явного уявлення про те, як стани переходять один в одного, може мати труднощі з узагальненням на нові або трохи відмінні ситуації.

TD(0), навпаки, використовує бутстрепінг на кожному одноетапному переході, поєднуючи негайну винагороду з оцінкою цінності наступного стану. Таким чином, він ефективно захоплює взаємозв'язки між станами — неявну модель динаміки середовища. Таке модельне розуміння дозволяє TD(0) краще узагальнювати на невідомі переходи, часто забезпечуючи точніші оцінки цінності на нових даних.

Псевдокод

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 5. Розділ 2

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

TD(0): Оцінювання Функції Цінності