Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

Що таке RL?Підкріплювальне навчання проти інших парадигм навчання Марковський процес прийняття рішень Епізоди та Винагороди Модель, Політика та Значення Дослідження проти Використання Основи Gymnasium Завдання: Налаштування Середовища

2. Проблема Багаторукого Бандита

Вступ до Задачі Значення Дій Епсилон-Жадібний Алгоритм Алгоритм Верхньої Довірчої Межі Алгоритм Градієнтних Бандитів Завдання: Задача з Багаторукими Бандитами

3. Динамічне Програмування

Що таке динамічне програмування?Рівняння Беллмана Умови Оптимальності Оцінювання Політики Поліпшення Політики Узагальнена Ітерація Політики Ітерація політики Ітерація Значень Завдання: Динамічне Програмування

4. Методи Монте-Карло

Що Таке Методи Монте-Карло?Оцінювання Функції Цінності Керування методом Монте-Карло Підходи до Дослідження Керування Монте-Карло на Політиці Off-Policy Керування Методом Монте-Карло Інкрементні Реалізації Завдання: Методи Монте-Карло

5. Навчання з часовою різницею

Що таке навчання з часовою різницею?TD(0): Оцінювання Функції Цінності SARSA: Навчання з Часовою Різницею на Політиці Q-Навчання: Позаполітичне TD-Навчання Узагальнення TD-Навчання Завдання: Навчання з Часовою Різницею

Поліпшення Політики

Визначення

Покращення політики — це процес удосконалення політики на основі поточних оцінок функції цінності.

Примітка

Як і у випадку з оцінкою політики, покращення політики може працювати як з функцією цінності стану, так і з функцією цінності дії. Але для методів динамічного програмування буде використовуватися функція цінності стану.

Тепер, коли ви можете оцінювати функцію цінності стану для будь-якої політики, природним наступним кроком є дослідити, чи існують політики, кращі за поточну. Один зі способів це зробити — розглянути виконання іншої дії $a$ у стані $s$ , а потім слідувати поточній політиці. Якщо це здається знайомим, то це тому, що це схоже на визначення функції цінності дії:

q_\pi(s, a) = \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Якщо це нове значення перевищує початкове значення стану $v_\pi(s)$ , це свідчить про те, що виконання дії $a$ у стані $s$ з подальшим дотриманням політики $\pi$ призводить до кращих результатів, ніж суворе дотримання політики $\pi$ . Оскільки стани є незалежними, оптимально завжди обирати дію $a$ щоразу, коли зустрічається стан $s$ . Таким чином, можна побудувати покращену політику $\pi'$ , ідентичну $\pi$ , за винятком того, що вона обирає дію $a$ у стані $s$ , що буде кращим за початкову політику $\pi$ .

Теорема покращення політики

Викладене вище міркування можна узагальнити як теорему покращення політики:

\begin{aligned} &q_\pi(s, \pi'(s)) \ge v_\pi(s) \qquad &\forall s \in S\\ \implies &v_{\pi'}(s) \ge v_\pi(s) \qquad &\forall s \in S \end{aligned}

Доведення цієї теореми є відносно простим і може бути виконане за допомогою багаторазової підстановки:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &\le q_\pi(s, \pi'(s))\\ &= \E_{\pi'}[R_{t+1} + \gamma v_\pi(S_{t+1}) | S_t = s]\\ &\le \E_{\pi'}[R_{t+1} + \gamma q_\pi(S_{t+1}, \pi'(S_{t+1})) | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma \E_{\pi'}[R_{t+2} + \gamma v_\pi(S_{t+2})] | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 v_\pi(S_{t+2}) | S_t = s]\\ &...\\ &\le \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= v_{\pi'}(s) \end{aligned}

Стратегія покращення

Оновлення дій для окремих станів може призвести до покращення, але ефективніше оновлювати дії для всіх станів одночасно. Зокрема, для кожного стану $s$ обирається дія $a$ , яка максимізує значення дії $q_\pi(s, a)$ :

\begin{aligned} \pi'(s) &\gets \argmax_a q_\pi(s, a)\\ &\gets \argmax_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

де $\argmax$ (скорочено від argument of the maximum) — оператор, що повертає значення змінної, при якому функція досягає максимуму.

Отримана жадібна стратегія, позначена як $\pi'$ , задовольняє умови теореми покращення стратегії за своєю конструкцією, що гарантує, що $\pi'$ не гірша за початкову стратегію $\pi$ , а зазвичай і краща.

Якщо $\pi'$ така ж добра, як і $\pi$ , але не краща, то обидві $\pi'$ та $\pi$ є оптимальними стратегіями, оскільки їхні функції цінності рівні та задовольняють рівняння оптимальності Беллмана:

v_\pi(s) = \max_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Як прийняття жадібної стратегії гарантує покращення порівняно з попередньою стратегією?

Select the correct answer

Жадібна стратегія випадково обирає дії, що природно призводить до знаходження кращих результатів.

Жадібна стратегія завжди обирає дію з найбільшою миттєвою винагородою, незалежно від майбутніх винагород, що забезпечує довгострокове покращення.

Жадібна стратегія забезпечує покращення, обираючи дію, яка максимізує поточну оцінку цінності дії, таким чином задовольняючи умови теореми покращення стратегії.

Жадібна стратегія покращується шляхом систематичного дослідження неоптимальних дій для підтвердження їхніх оцінок цінності.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 3. Розділ 5

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат