Вивчайте Off-Policy Керування Методом Монте-Карло

У той час як on-policy методи навчаються, дотримуючись і вдосконалюючи одну й ту ж політику, off-policy методи пропонують інший підхід: вони навчаються щодо однієї політики (цільової політики), виконуючи при цьому іншу (поведінкову політику). Такий поділ є потужним — він дозволяє оцінювати або вдосконалювати цільову політику без необхідності фактично її дотримуватися під час збору даних.

Аналогія

Повернімося до магазину морозива з попереднього розділу. Ви та ваш друг заходите всередину, і знову перед вами три знайомі смаки: шоколад, ваніль та полуниця. Шоколад — ваш улюблений, і перша думка — замовити саме його. Але цей магазин для вас новий, і ви не впевнені, чи варто обирати шоколад. На щастя, ваш друг — відомий поціновувач морозива, який відвідав майже всі магазини у місті. Ви питаєте його думку. "Шоколад тут непоганий," — каже він, — "але повір, полуниця — просто виняткова." Тож, спираючись на його досвід, ви вирішуєте відмовитися від звичного вибору й обрати полуницю.

Це рішення — покладатися на досвід іншого для прийняття власного вибору — і є сутністю off-policy методів. Ви намагаєтеся покращити власне прийняття рішень, використовуючи дані, зібрані під час поведінки іншого. Це все ще дослідження — але воно керується зовнішнім досвідом, а не власним.

Важливість вибірки

Оскільки агент дотримується поведінкової політики під час генерації епізоду, необхідно враховувати невідповідність між тим, що генерує поведінкова політика, і тим, що генерувала б цільова політика. Саме тут і застосовується важливість вибірки.

Важливість вибіркового зважування (importance sampling) полягає у можливості коригувати отримані під політикою поведінки значення повернення так, щоб вони були коректними оцінками для цільової політики.

Розглянемо траєкторію, яка починається з певного стану $S_t$ і слідує певній політиці $\pi$ до завершення епізоду у момент часу $T$ . Зокрема, ми спостерігаємо:

A_t, S_{t+1}, A_{t+1}, ..., S_{T}

Яка ймовірність виникнення цієї траєкторії під політикою $\pi$ ? Вона залежить як від ймовірностей дій політики, так і від динаміки переходів середовища:

p(trajectory | \pi) = \prod_{k=t}^{T-1} \pi(A_k | S_k)p(S_{k+1} | S_k, A_k)

Тепер припустимо, що траєкторія насправді була згенерована іншою політикою — політикою поведінки $b$ . Щоб коректно використати цю траєкторію для оцінки очікувань під цільовою політикою $\pi$ , необхідно врахувати, наскільки більшою чи меншою була ймовірність цієї послідовності дій під $\pi$ порівняно з $b$ .

Тут і з'являється коефіцієнт вибіркового зважування. Він визначається як відносна ймовірність траєкторії під двома політиками:

\rho = \frac{p(trajectory | \pi)}{p(trajectory | b)} = \prod_{k=t}^{T-1} \frac{\pi(A_k | S_k)p(S_{k+1} | S_k, A_k)}{b(A_k | S_k)p(S_{k+1} | S_k, A_k)} = \prod_{k=t}^{T-1} \frac{\pi(A_k | S_k)}{b(A_k | S_k)}

У підсумку, ймовірності переходів скорочуються, оскільки обидві політики діють в одному середовищі, і значення $\rho$ залежить лише від політик, а не від середовища.

Чому це важливо

Коефіцієнт $\rho$ показує, як потрібно переважити повернення $G_t$ , отримане під політикою поведінки, щоб воно стало незміщеною оцінкою того, яким було б повернення під цільовою політикою:

\def\E{\operatorname{\mathbb{E}}} \E_\pi[G_t] = \E_b[\rho \cdot G_t]

Іншими словами, навіть якщо дані були зібрані за допомогою $b$ , ми все одно можемо оцінити очікувані повернення під $\pi$ — за умови, що $b$ надає ненульову ймовірність кожній дії, яку може вибрати $\pi$ (умова покриття).

Практичні аспекти

Дисперсія вибіркового зважування

Використання вибіркового зважування є концептуально простим. Ми коригуємо оцінку функції значення дії $q(s, a)$ , зважуючи кожну спостережувану віддачу відповідним коефіцієнтом вибіркового зважування. Найпростіша формула виглядає так:

q(s, a) = \frac{\sum_{i=0}^{N(s, a)} \rho_i(s, a) \cdot Returns_i(s, a)}{N(s, a)}

де:

$\rho_i(s, a)$ — коефіцієнт вибіркового зважування для $i$ -ї траєкторії, що починається з $(s, a)$ ;
$Returns_i(s, a)$ — віддача з цієї траєкторії;
$N(s, a)$ — кількість відвідувань $(s, a)$ .

Це називається звичайним вибірковим зважуванням. Воно забезпечує несмещену оцінку $q(s, a)$ , але може мати дуже високу дисперсію, особливо коли поведінкова та цільова політики суттєво відрізняються.

Щоб зменшити дисперсію, можна використати більш стабільний варіант: зважене вибіркове зважування. Цей метод нормалізує ваги, що зменшує вплив великих коефіцієнтів і забезпечує більш стабільне навчання:

q(s, a) = \frac{\sum_{i=0}^{N(s, a)} \rho_i(s, a) \cdot Returns_i(s, a)}{\sum_{i=0}^{N(s, a)} \rho_i(s, a)}

У цій версії чисельник — це та ж сама зважена сума віддач, але знаменник тепер — сума коефіцієнтів вибіркового зважування, а не проста кількість.

Ця оцінка стає зміщеною, але зміщення зменшується зі збільшенням кількості вибірок. На практиці зважене вибіркове зважування є кращим через значно меншу дисперсію та вищу числову стабільність.

Політики

Як і у випадку on-policy, використаємо $\varepsilon$ -жадібні політики як для цільової політики $\pi(a | s)$ , так і для поведінкової політики $b(a | s)$ .

На перший погляд, здається природним зробити цільову політику повністю жадібною — зрештою, наша кінцева мета — жадібна політика. Проте на практиці це спричиняє серйозну проблему: якщо на будь-якому кроці $\pi(a | s) = 0$ для дії, яку фактично виконала поведінкова політика, коефіцієнт важливості $\rho$ стає нульовим, і решта епізоду фактично ігнорується.

Використовуючи мале $\varepsilon$ (наприклад, $\varepsilon = 0.01$ ) у цільовій політиці, ми гарантуємо, що $\pi(a | s) > 0$ для кожної дії, тому $\rho$ ніколи не обнуляється посеред епізоду. Після завершення навчання легко перетворити отриману $\varepsilon$ ‑жадібну політику на строго жадібну. Як і при on-policy навчанні, у поведінковій політиці слід використовувати спадання $\varepsilon$ , але цього разу це переважно потрібно для числової стабільності, оскільки $\rho$ все ще може стати нульовим посеред епізоду через особливості представлення чисел у комп'ютерах.

Псевдокод

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 4. Розділ 6

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Свайпніть щоб показати меню

Аналогія

Важливість вибірки

A_t, S_{t+1}, A_{t+1}, ..., S_{T}

p(trajectory | \pi) = \prod_{k=t}^{T-1} \pi(A_k | S_k)p(S_{k+1} | S_k, A_k)

\rho = \frac{p(trajectory | \pi)}{p(trajectory | b)} = \prod_{k=t}^{T-1} \frac{\pi(A_k | S_k)p(S_{k+1} | S_k, A_k)}{b(A_k | S_k)p(S_{k+1} | S_k, A_k)} = \prod_{k=t}^{T-1} \frac{\pi(A_k | S_k)}{b(A_k | S_k)}

Чому це важливо

\def\E{\operatorname{\mathbb{E}}} \E_\pi[G_t] = \E_b[\rho \cdot G_t]

Практичні аспекти

Дисперсія вибіркового зважування

q(s, a) = \frac{\sum_{i=0}^{N(s, a)} \rho_i(s, a) \cdot Returns_i(s, a)}{N(s, a)}

де:

$\rho_i(s, a)$ — коефіцієнт вибіркового зважування для $i$ -ї траєкторії, що починається з $(s, a)$ ;
$Returns_i(s, a)$ — віддача з цієї траєкторії;
$N(s, a)$ — кількість відвідувань $(s, a)$ .

q(s, a) = \frac{\sum_{i=0}^{N(s, a)} \rho_i(s, a) \cdot Returns_i(s, a)}{\sum_{i=0}^{N(s, a)} \rho_i(s, a)}

Політики

Псевдокод

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 4. Розділ 6

Off-Policy Керування Методом Монте-Карло

Аналогія

Важливість вибірки

Чому це важливо

Практичні аспекти

Дисперсія вибіркового зважування

Політики

Псевдокод

Awesome!

Off-Policy Керування Методом Монте-Карло

Аналогія

Важливість вибірки

Чому це важливо

Практичні аспекти

Дисперсія вибіркового зважування

Політики

Псевдокод