Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

Що таке RL?Підкріплювальне навчання проти інших парадигм навчання Марковський процес прийняття рішень Епізоди та Винагороди Модель, Політика та Значення Дослідження проти Використання Основи Gymnasium Завдання: Налаштування Середовища

2. Проблема Багаторукого Бандита

Вступ до Задачі Значення Дій Епсилон-Жадібний Алгоритм Алгоритм Верхньої Довірчої Межі Алгоритм Градієнтних Бандитів Завдання: Задача з Багаторукими Бандитами

3. Динамічне Програмування

Що таке динамічне програмування?Рівняння Беллмана Умови Оптимальності Оцінювання Політики Поліпшення Політики Узагальнена Ітерація Політики Ітерація політики Ітерація Значень Завдання: Динамічне Програмування

4. Методи Монте-Карло

Що Таке Методи Монте-Карло?Оцінювання Функції Цінності Керування методом Монте-Карло Підходи до Дослідження Керування Монте-Карло на Політиці Off-Policy Керування Методом Монте-Карло Інкрементні Реалізації Завдання: Методи Монте-Карло

5. Навчання з часовою різницею

Що таке навчання з часовою різницею?TD(0): Оцінювання Функції Цінності SARSA: Навчання з Часовою Різницею на Політиці Q-Навчання: Позаполітичне TD-Навчання Узагальнення TD-Навчання Завдання: Навчання з Часовою Різницею

Узагальнення TD-Навчання

На даний момент ми розглядали два крайні випадки навчання на досвіді:

TD(0): використовує однокрокову оцінку повернення;
Монте-Карло: чекає завершення епізоду для обчислення повернення.

Але що, якщо нам потрібно щось посередині? Метод, який враховує більше інформації про майбутнє, ніж TD(0), але не вимагає чекати завершення всього епізоду, як Монте-Карло?

Саме тут з'являються $n$ -крокове TD-навчання та TD( $\lambda$ ) — методи, які об'єднують і узагальнюють ідеї, розглянуті раніше.

$\Large n$ -крокове TD-навчання

Ідея $n$ -крокового TD-навчання проста: замість використання лише наступного кроку або всього епізоду, ми використовуємо наступні $n$ кроків, а потім застосовуємо бутстрепінг:

G_t^{(n)} = R_{t+1} + \gamma R_{t+2} + ... + \gamma^{n-1} R_{t+n} + \gamma^n V(S_{t+1})

Це дозволяє налаштовувати компроміс:

Якщо $n = 1$ : це просто TD(0);
Якщо $n = \infty$ : це стає Монте-Карло.

Ці повернення можна використовувати для заміни цільового значення у правилі оновлення TD(0):

V(S_t) \gets V(S_t) + \alpha\Bigl(G_t^{(n)} - V(S_t)\Bigr)

TD( $\Large\lambda$ )

TD( $\lambda$ ) — це вдала ідея, що базується на $n$ -кроковому TD-навчанні: замість вибору фіксованого $n$ , ми об'єднуємо усі $n$ -крокові повернення разом:

L_t = (1 - \lambda) \sum_{n=0}^{\infty} \lambda^{n-1}G_t^{(n)}

де $\lambda \in [0, 1]$ визначає вагу:

Якщо $\lambda = 0$ : лише одно-крокове повернення $\to$ TD(0);
Якщо $\lambda = 1$ : повне повернення $\to$ Monte Carlo;
Проміжні значення поєднують кілька крокових повернень.

Таким чином, $\lambda$ виступає як регулятор компромісу між зміщенням і дисперсією:

Низьке $\lambda$ : більше зміщення, менше дисперсії;
Високе $\lambda$ : менше зміщення, більше дисперсії.

$L_t$ потім може використовуватися як цільове значення для оновлення у правилі TD(0):

V(S_t) \gets V(S_t) + \alpha\Bigl(L_t - V(S_t)\Bigr)

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 5. Розділ 5

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

2. Проблема Багаторукого Бандита

3. Динамічне Програмування

4. Методи Монте-Карло

5. Навчання з часовою різницею

Узагальнення TD-Навчання

На даний момент ми розглядали два крайні випадки навчання на досвіді:

TD(0): використовує однокрокову оцінку повернення;
Монте-Карло: чекає завершення епізоду для обчислення повернення.

$\Large n$ -крокове TD-навчання

G_t^{(n)} = R_{t+1} + \gamma R_{t+2} + ... + \gamma^{n-1} R_{t+n} + \gamma^n V(S_{t+1})

Це дозволяє налаштовувати компроміс:

Якщо $n = 1$ : це просто TD(0);
Якщо $n = \infty$ : це стає Монте-Карло.

Ці повернення можна використовувати для заміни цільового значення у правилі оновлення TD(0):

V(S_t) \gets V(S_t) + \alpha\Bigl(G_t^{(n)} - V(S_t)\Bigr)

TD( $\Large\lambda$ )

L_t = (1 - \lambda) \sum_{n=0}^{\infty} \lambda^{n-1}G_t^{(n)}

де $\lambda \in [0, 1]$ визначає вагу:

Якщо $\lambda = 0$ : лише одно-крокове повернення $\to$ TD(0);
Якщо $\lambda = 1$ : повне повернення $\to$ Monte Carlo;
Проміжні значення поєднують кілька крокових повернень.

Таким чином, $\lambda$ виступає як регулятор компромісу між зміщенням і дисперсією:

Низьке $\lambda$ : більше зміщення, менше дисперсії;
Високе $\lambda$ : менше зміщення, більше дисперсії.

$L_t$ потім може використовуватися як цільове значення для оновлення у правилі TD(0):

V(S_t) \gets V(S_t) + \alpha\Bigl(L_t - V(S_t)\Bigr)

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 5. Розділ 5

Вступ до навчання з підкріпленням

Узагальнення TD-Навчання

n\Large nn-крокове TD-навчання

TD(λ\Large\lambdaλ)

Вступ до навчання з підкріпленням

Узагальнення TD-Навчання

n\Large nn-крокове TD-навчання

TD(λ\Large\lambdaλ)

$\Large n$ -крокове TD-навчання

TD( $\Large\lambda$ )

$\Large n$ -крокове TD-навчання

TD( $\Large\lambda$ )