Свайпніть щоб показати меню

У той час як on-policy методи навчаються, слідуючи та вдосконалюючи одну й ту ж політику, off-policy методи пропонують інший підхід: вони навчаються щодо однієї політики (цільової політики), виконуючи іншу (поведінкову політику). Такий поділ є потужним — він дозволяє оцінювати або вдосконалювати цільову політику без необхідності фактично дотримуватися її під час збору даних.

Аналогія

Повернемося до магазину морозива з попереднього розділу. Ви та ваш друг заходите всередину, і знову на вибір три знайомі смаки: шоколад, ваніль та полуниця. Шоколад — ваш улюблений смак, і перша думка — замовити саме його. Але цей магазин для вас новий, і ви не впевнені, чи варто обирати шоколад. На щастя, ваш друг — відомий поціновувач морозива, який відвідав майже всі магазини у місті. Ви запитуєте його думку. "Шоколад тут непоганий," каже він, "але повір — полуниця просто виняткова." Тож, спираючись на його досвід, ви вирішуєте відмовитися від звичного вибору й обрати полуницю.

Це рішення — покладатися на досвід іншої людини для прийняття власного вибору — і є сутністю позаполітичних методів. Ви намагаєтеся покращити власне прийняття рішень, використовуючи дані, зібрані під час поведінки іншої особи. Це все ще дослідження — але воно керується зовнішнім досвідом, а не власним.

Важливісне вибіркове середнє

Оскільки агент слідує поведінковій політиці під час генерації епізоду, необхідно враховувати невідповідність між тим, що генерує поведінкова політика, і тим, що згенерувала б цільова політика. Саме тут застосовується важливісне вибіркове моделювання.

Визначення

Важливісне вибіркове моделювання — це статистичний метод, який використовується для оцінки математичного сподівання функції за одним розподілом ймовірностей, використовуючи вибірки, отримані з іншого розподілу.

Важливісне вибіркове моделювання дозволяє скоригувати отримані під поведінковою політикою виграші так, щоб вони були коректними оцінками для цільової політики.

Розглянемо траєкторію, яка починається з певного стану $S_t$ і слідує певній політиці $\pi$ до завершення епізоду в момент часу $T$ . Зокрема, спостерігаємо:

A_t, S_{t+1}, A_{t+1}, ..., S_{T}

Яка ймовірність виникнення цієї траєкторії під політикою $\pi$ ? Вона залежить як від ймовірностей дій політики, так і від динаміки переходів середовища:

p(trajectory | \pi) = \prod_{k=t}^{T-1} \pi(A_k | S_k)p(S_{k+1} | S_k, A_k)

Тепер припустимо, що траєкторія насправді була згенерована іншою політикою — поведінковою політикою $b$ . Щоб коректно використати цю траєкторію для оцінки сподівань під цільовою політикою $\pi$ , потрібно врахувати, наскільки більшою чи меншою була ймовірність цієї послідовності дій під $\pi$ порівняно з $b$ .

Саме тут з'являється коефіцієнт важливісного вибіркового моделювання. Він визначається як відносна ймовірність траєкторії під двома політиками:

\rho = \frac{p(trajectory | \pi)}{p(trajectory | b)} = \prod_{k=t}^{T-1} \frac{\pi(A_k | S_k)p(S_{k+1} | S_k, A_k)}{b(A_k | S_k)p(S_{k+1} | S_k, A_k)} = \prod_{k=t}^{T-1} \frac{\pi(A_k | S_k)}{b(A_k | S_k)}

У підсумку ймовірності переходів скорочуються, оскільки обидві політики працюють в одному середовищі, і значення $\rho$ залежить лише від політик, а не від середовища.

Чому це важливо

Відношення $\rho$ показує, як переважити повернення $G_t$ , отримане під час виконання поведінкової політики, щоб отримати незміщену оцінку того, яким би було повернення під цільовою політикою:

\def\E{\operatorname{\mathbb{E}}} \E_\pi[G_t] = \E_b[\rho \cdot G_t]

Іншими словами, навіть якщо дані були зібрані за допомогою $b$ , ми все одно можемо оцінити очікувані повернення під $\pi$ — за умови, що $b$ надає ненульову ймовірність кожній дії, яку може виконати $\pi$ (припущення покриття).

Практичні аспекти

Дисперсія вибіркового зважування

Використання вибіркового зважування (importance sampling) є концептуально простим. Оцінювана функція значення дії $q(s, a)$ коригується шляхом зважування кожного спостережуваного повернення відповідним коефіцієнтом вибіркового зважування. Найпростіша формула виглядає так:

q(s, a) = \frac{\sum_{i=0}^{N(s, a)} \rho_i(s, a) \cdot Returns_i(s, a)}{N(s, a)}

де:

$\rho_i(s, a)$ — коефіцієнт вибіркового зважування для $i$ -ї траєкторії, що починається з $(s, a)$ ;
$Returns_i(s, a)$ — повернення з цієї траєкторії;
$N(s, a)$ — кількість відвідувань $(s, a)$ .

Це називається звичайним вибірковим зважуванням. Воно забезпечує несмещену оцінку $q(s, a)$ , але може мати дуже велику дисперсію, особливо коли поведінкова та цільова політики суттєво відрізняються.

Щоб зменшити дисперсію, можна використати більш стабільний варіант: зважене вибіркове зважування. Цей метод нормалізує ваги, що зменшує вплив великих коефіцієнтів і забезпечує більш стабільне навчання:

q(s, a) = \frac{\sum_{i=0}^{N(s, a)} \rho_i(s, a) \cdot Returns_i(s, a)}{\sum_{i=0}^{N(s, a)} \rho_i(s, a)}

У цій версії чисельник залишається зваженою сумою повернень, але знаменник тепер — це сума ваг вибіркового зважування, а не просто кількість спостережень.

Ця оцінка стає зміщеною, але зміщення зменшується зі збільшенням кількості вибірок. На практиці зважене вибіркове зважування є кращим через значно меншу дисперсію та вищу числову стабільність.

Політики

Як і у випадку з on-policy, використовуються $\varepsilon$ -жадібні політики як для цільової політики $\pi(a | s)$ , так і для поведінкової політики $b(a | s)$ .

На перший погляд здається природним зробити цільову політику повністю жадібною — зрештою, кінцева мета полягає у жадібній політиці. Однак на практиці це спричиняє серйозну проблему: якщо на будь-якому кроці $\pi(a | s) = 0$ для дії, яку фактично виконала поведінкова політика, коефіцієнт важливості $\rho$ стає нульовим, і решта епізоду фактично відкидається.

Використовуючи мале $\varepsilon$ (наприклад, $\varepsilon = 0.01$ ) у цільовій політиці, гарантується, що $\pi(a | s) > 0$ для кожної дії, тому $\rho$ ніколи не стає нульовим посеред епізоду. Після завершення навчання легко перетворити отриману $\varepsilon$ ‑жадібну політику на строго жадібну. Як і при on-policy навчанні, $\varepsilon$ у поведінковій політиці слід зменшувати, але цього разу це переважно потрібно для числової стабільності, оскільки $\rho$ все одно може стати нульовим посеред епізоду через особливості представлення чисел у комп'ютерах.

Псевдокод

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 4. Розділ 6

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Off-Policy Керування Методом Монте-Карло