Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

Що таке RL?Підкріплювальне навчання проти інших парадигм навчання Марковський процес прийняття рішень Епізоди та Винагороди Модель, Політика та Значення Дослідження проти Використання Основи Gymnasium Завдання: Налаштування Середовища

2. Проблема Багаторукого Бандита

Вступ до Задачі Значення Дій Епсилон-Жадібний Алгоритм Алгоритм Верхньої Довірчої Межі Алгоритм Градієнтних Бандитів Завдання: Задача з Багаторукими Бандитами

3. Динамічне Програмування

Що таке динамічне програмування?Рівняння Беллмана Умови Оптимальності Оцінювання Політики Поліпшення Політики Узагальнена Ітерація Політики Ітерація політики Ітерація Значень Завдання: Динамічне Програмування

4. Методи Монте-Карло

Що Таке Методи Монте-Карло?Оцінювання Функції Цінності Керування методом Монте-Карло Підходи до Дослідження Керування Монте-Карло на Політиці Off-Policy Керування Методом Монте-Карло Інкрементні Реалізації Завдання: Методи Монте-Карло

5. Навчання з часовою різницею

Що таке навчання з часовою різницею?TD(0): Оцінювання Функції Цінності SARSA: Навчання з Часовою Різницею на Політиці Q-Навчання: Позаполітичне TD-Навчання Узагальнення TD-Навчання Завдання: Навчання з Часовою Різницею

Q-Навчання: Позаполітичне TD-Навчання

Навчання оптимальної стратегії за допомогою SARSA може бути складним завданням. Подібно до on-policy керування методом Монте-Карло, зазвичай потрібно поступово зменшувати $\varepsilon$ з часом, зрештою наближаючи його до нуля для переходу від дослідження до експлуатації. Цей процес часто є повільним і може вимагати значного часу на тренування. Альтернативою є використання off-policy методу, такого як Q-learning.

Визначення

Q-learning — це off-policy TD алгоритм керування, який використовується для оцінки оптимальної функції значення дії $q_*(s, a)$ . Він оновлює свої оцінки на основі поточної найкращої дії, що робить його off-policy алгоритмом.

Правило оновлення

На відміну від позаполітичного керування методом Монте-Карло, Q-навчання не потребує використання вибіркового важливісного зважування (importance sampling) для корекції відмінностей між поведінковою та цільовою політиками. Замість цього воно використовує пряме правило оновлення, яке дуже схоже на SARSA, але має одну ключову відмінність.

Правило оновлення Q-навчання:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma \max_a Q(S_{t+1}, a) - Q(S_t, A_t)\Bigr)

Єдина відмінність від SARSA полягає у цільовому значенні. Замість використання значення наступної фактично виконаної дії, як у SARSA:

\gamma Q(S_{t+1}, A_{t+1})

Q-навчання використовує значення найкращої можливої наступної дії:

\gamma \max_a Q(S_{t+1}, a)

Ця незначна зміна має великий вплив: вона дозволяє Q-навчанню оцінювати дії, використовуючи оцінку оптимальної політики, навіть коли агент ще досліджує середовище. Саме це робить його позаполітичним методом — воно навчається щодо жадібної політики, незалежно від дій, обраних під час тренування.

Коли використовувати Q-навчання?

Q-навчання є кращим вибором, коли:

Використовуються детерміновані середовища або середовища;
Необхідна вища швидкість збіжності.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 5. Розділ 4

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат