Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

Що таке RL?Підкріплювальне навчання проти інших парадигм навчання Марковський процес прийняття рішень Епізоди та Винагороди Модель, Політика та Значення Дослідження проти Використання Основи Gymnasium Завдання: Налаштування Середовища

2. Проблема Багаторукого Бандита

Вступ до Задачі Значення Дій Епсилон-Жадібний Алгоритм Алгоритм Верхньої Довірчої Межі Алгоритм Градієнтних Бандитів Завдання: Задача з Багаторукими Бандитами

3. Динамічне Програмування

Що таке динамічне програмування?Рівняння Беллмана Умови Оптимальності Оцінювання Політики Поліпшення Політики Узагальнена Ітерація Політики Ітерація політики Ітерація Значень Завдання: Динамічне Програмування

4. Методи Монте-Карло

Що Таке Методи Монте-Карло?Оцінювання Функції Цінності Керування методом Монте-Карло Підходи до Дослідження Керування Монте-Карло на Політиці Off-Policy Керування Методом Монте-Карло Інкрементні Реалізації Завдання: Методи Монте-Карло

5. Навчання з часовою різницею

Що таке навчання з часовою різницею?TD(0): Оцінювання Функції Цінності SARSA: Навчання з Часовою Різницею на Політиці Q-Навчання: Позаполітичне TD-Навчання Узагальнення TD-Навчання Завдання: Навчання з Часовою Різницею

SARSA: Навчання з Часовою Різницею на Політиці

Як і у випадку з методами Монте-Карло, ми можемо використовувати підхід узагальненої ітерації політики (GPI) для переходу від оцінки функцій цінності до навчання оптимальних політик. Однак цей процес створює знайому проблему: компроміс між дослідженням і використанням. І так само існують два підходи: on-policy та off-policy. Спочатку розглянемо on-policy метод — SARSA.

Визначення

SARSA — це on-policy TD алгоритм контролю, який використовується для оцінки функції цінності дії $q_\pi(s, a)$ . Він оновлює свої оцінки на основі дії, яка фактично була виконана, що робить його on-policy алгоритмом.

Абревіатура SARSA походить від п’яти ключових компонентів, які використовуються при оновленні:

S: поточний стан $S_t$ ;
A: виконана дія $A_t$ ;
R: отримана винагорода $R_{t+1}$ ;
S: наступний стан $S_{t+1}$ ;
A: наступна дія $A_{t+1}$ .

Правило оновлення

Правило оновлення подібне до TD(0), лише замість функції цінності стану використовується функція цінності дії:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) - Q(S_t, A_t)\Bigr)

Тут $A_{t+1}$ — це дія, яка фактично буде виконана на наступному кроці, і вона обирається відповідно до поточної політики. Це означає, що вплив дослідження враховується у процесі навчання.

Після кожного оновлення функції цінності дії політика також оновлюється, що дозволяє агентові негайно використовувати нові оцінки.

Псевдокод

Коли використовувати SARSA?

SARSA є кращим вибором, коли:

Ви працюєте з середовищами з високою стохастичністю (наприклад, слизькі поверхні, ненадійні переходи);
Вас влаштовує повільніша збіжність в обмін на безпечнішу поведінку під час навчання.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 5. Розділ 3

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат