Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

Що таке RL?Підкріплювальне навчання проти інших парадигм навчання Марковський процес прийняття рішень Епізоди та Винагороди Модель, Політика та Значення Дослідження проти Використання Основи Gymnasium Завдання: Налаштування Середовища

2. Проблема Багаторукого Бандита

Вступ до Задачі Значення Дій Епсилон-Жадібний Алгоритм Алгоритм Верхньої Довірчої Межі Алгоритм Градієнтних Бандитів Завдання: Задача з Багаторукими Бандитами

3. Динамічне Програмування

Що таке динамічне програмування?Рівняння Беллмана Умови Оптимальності Оцінювання Політики Поліпшення Політики Узагальнена Ітерація Політики Ітерація політики Ітерація Значень Завдання: Динамічне Програмування

4. Методи Монте-Карло

Що Таке Методи Монте-Карло?Оцінювання Функції Цінності Керування методом Монте-Карло Підходи до Дослідження Керування Монте-Карло на Політиці Off-Policy Керування Методом Монте-Карло Інкрементні Реалізації Завдання: Методи Монте-Карло

5. Навчання з часовою різницею

Що таке навчання з часовою різницею?TD(0): Оцінювання Функції Цінності SARSA: Навчання з Часовою Різницею на Політиці Q-Навчання: Позаполітичне TD-Навчання Узагальнення TD-Навчання Завдання: Навчання з Часовою Різницею

Рівняння Беллмана

Визначення

Рівняння Беллмана — це функціональне рівняння, яке визначає функцію цінності у рекурсивній формі.

Для уточнення визначення:

Функціональне рівняння — це рівняння, розв'язком якого є функція. Для рівняння Беллмана цим розв'язком є функція цінності, для якої й було сформульовано рівняння;
Рекурсивна форма означає, що значення у поточному стані виражається через значення у майбутніх станах.

Коротко, розв'язання рівняння Беллмана дає шукану функцію цінності, а виведення цього рівняння вимагає визначення рекурсивного зв'язку між поточними та майбутніми станами.

Функція цінності стану

Для нагадування, ось функція цінності стану у компактній формі:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s]

Щоб отримати рівняння Беллмана для цієї функції цінності, розкриємо праву частину рівняння та встановимо рекурсивний зв'язок:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &= \E_\pi[G_t | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s]\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

Останнє рівняння в цьому ланцюжку є рівнянням Беллмана для функції цінності стану.

Інтуїція

Щоб знайти цінність стану $s$ , потрібно:

Розглянути всі можливі дії $a$ , які можна виконати з цього стану, кожна з яких зважується відповідно до ймовірності вибору цієї дії згідно з поточною політикою $\pi(a | s)$ ;
Для кожної дії $a$ розглянути всі можливі наступні стани $s'$ та винагороди $r$ , зважені за їх ймовірністю $p(s', r | s, a)$ ;
Для кожного з цих результатів взяти негайну винагороду $r$ , яку отримуєте, плюс дисконтовану цінність наступного стану $\gamma v_\pi(s')$ .

Підсумовуючи всі ці можливості, отримуємо загальне очікуване значення стану $s$ згідно з поточною політикою.

Функція цінності дії

Ось функція цінності дії у компактній формі:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a]

Виведення рівняння Беллмана для цієї функції дуже схоже на попереднє:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} q_\pi(s, a) &= \E_\pi[G_t | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s, A_t = a]\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') \Bigl(\E_\pi\Bigl[G_{t+1} | S_{t+1} = s', A_{t+1} = a'\Bigr]\Bigr)\Biggr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') q(s', a')\Biggr) \end{aligned}

Останнє рівняння в цьому ланцюжку є рівнянням Беллмана для функції цінності дії.

Інтуїція

Щоб знайти значення пари стан-дія $(s, a)$ , потрібно:

Розглянути всі можливі наступні стани $s'$ та винагороди $r$ , зважені за їх ймовірністю $p(s', r | s, a)$ ;
Для кожного з цих результатів взяти негайну винагороду $r$ , яку ви отримуєте, плюс дисконтоване значення наступного стану;
Щоб обчислити значення наступного стану $s'$ , для всіх дій $a'$ , можливих зі стану $s'$ , помножити значення дії $q(s', a')$ на ймовірність вибору $a'$ у стані $s'$ згідно з поточною політикою $\pi(a' | s')$ . Потім підсумувати все, щоб отримати кінцеве значення.

Підсумовуючи всі ці можливості, ви отримуєте загальне очікуване значення пари стан-дія $(s, a)$ згідно з вашою поточною політикою.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 3. Розділ 2

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

2. Проблема Багаторукого Бандита

3. Динамічне Програмування

4. Методи Монте-Карло

5. Навчання з часовою різницею

Рівняння Беллмана

Визначення

Рівняння Беллмана — це функціональне рівняння, яке визначає функцію цінності у рекурсивній формі.

Для уточнення визначення:

Функціональне рівняння — це рівняння, розв'язком якого є функція. Для рівняння Беллмана цим розв'язком є функція цінності, для якої й було сформульовано рівняння;
Рекурсивна форма означає, що значення у поточному стані виражається через значення у майбутніх станах.

Функція цінності стану

Для нагадування, ось функція цінності стану у компактній формі:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s]

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &= \E_\pi[G_t | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s]\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

Останнє рівняння в цьому ланцюжку є рівнянням Беллмана для функції цінності стану.

Інтуїція

Щоб знайти цінність стану $s$ , потрібно:

Розглянути всі можливі дії $a$ , які можна виконати з цього стану, кожна з яких зважується відповідно до ймовірності вибору цієї дії згідно з поточною політикою $\pi(a | s)$ ;
Для кожної дії $a$ розглянути всі можливі наступні стани $s'$ та винагороди $r$ , зважені за їх ймовірністю $p(s', r | s, a)$ ;
Для кожного з цих результатів взяти негайну винагороду $r$ , яку отримуєте, плюс дисконтовану цінність наступного стану $\gamma v_\pi(s')$ .

Підсумовуючи всі ці можливості, отримуємо загальне очікуване значення стану $s$ згідно з поточною політикою.

Функція цінності дії

Ось функція цінності дії у компактній формі:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a]

Виведення рівняння Беллмана для цієї функції дуже схоже на попереднє:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} q_\pi(s, a) &= \E_\pi[G_t | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s, A_t = a]\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') \Bigl(\E_\pi\Bigl[G_{t+1} | S_{t+1} = s', A_{t+1} = a'\Bigr]\Bigr)\Biggr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') q(s', a')\Biggr) \end{aligned}

Останнє рівняння в цьому ланцюжку є рівнянням Беллмана для функції цінності дії.

Інтуїція

Щоб знайти значення пари стан-дія $(s, a)$ , потрібно:

Розглянути всі можливі наступні стани $s'$ та винагороди $r$ , зважені за їх ймовірністю $p(s', r | s, a)$ ;
Для кожного з цих результатів взяти негайну винагороду $r$ , яку ви отримуєте, плюс дисконтоване значення наступного стану;
Щоб обчислити значення наступного стану $s'$ , для всіх дій $a'$ , можливих зі стану $s'$ , помножити значення дії $q(s', a')$ на ймовірність вибору $a'$ у стані $s'$ згідно з поточною політикою $\pi(a' | s')$ . Потім підсумувати все, щоб отримати кінцеве значення.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 3. Розділ 2