У той час як on-policy методи навчаються, дотримуючись і вдосконалюючи одну й ту ж політику, off-policy методи пропонують інший підхід: вони навчаються щодо однієї політики (цільової політики), виконуючи іншу (поведінкову політику). Такий поділ є потужним — він дозволяє оцінювати або вдосконалювати цільову політику без необхідності фактично дотримуватися її під час збору даних.

Аналогія

Повернімося до магазину морозива з попереднього розділу. Ви з другом заходите всередину, і знову на вибір три знайомі смаки: шоколад, ваніль і полуниця. Шоколад — ваш улюблений смак, і перша думка — замовити саме його. Але цей магазин для вас новий, і ви не впевнені, чи варто обирати шоколад. На щастя, ваш друг — відомий поціновувач морозива, який відвідав майже всі магазини міста. Ви запитуєте його думку. "Шоколад тут непоганий," каже він, "але повір — полуниця просто виняткова." Тож, спираючись на його досвід, ви вирішуєте відмовитися від звичного вибору й обираєте полуницю.

Це рішення — покладатися на досвід іншого для прийняття власного вибору — і є суттю off-policy методів. Ви намагаєтеся покращити власне прийняття рішень, використовуючи дані, зібрані під час поведінки іншого. Це все ще дослідження — але воно керується зовнішнім досвідом, а не власним.

Важливість вибірки

Оскільки агент дотримується поведінкової політики під час генерації епізоду, необхідно враховувати невідповідність між тим, що генерує поведінкова політика, і тим, що згенерувала б цільова політика. Саме тут використовується важливість вибірки.

Важливе вибіркове зважування (importance sampling) надає спосіб коригування отриманих під політикою поведінки виграшів так, щоб вони були коректними оцінками для цільової політики.

Розглянемо траєкторію, яка починається з певного стану $S_t$ і слідує певній політиці $\pi$ до завершення епізоду в момент часу $T$. Зокрема, ми спостерігаємо:

Яка ймовірність виникнення цієї траєкторії під політикою $\pi$? Вона залежить як від ймовірностей дій політики, так і від динаміки переходів середовища:

Тепер припустимо, що траєкторія насправді була згенерована іншою політикою — політикою поведінки $b$. Щоб коректно використати цю траєкторію для оцінки очікувань під цільовою політикою $\pi$, необхідно врахувати, наскільки більшою чи меншою була ймовірність цієї послідовності дій під $\pi$ порівняно з $b$.

Тут і з'являється коефіцієнт важливого вибіркового зважування. Він визначається як відносна ймовірність траєкторії під двома політиками:

У підсумку, ймовірності переходів скорочуються, оскільки обидві політики діють в одному середовищі, і значення $\rho$ залежить лише від політик, а не від середовища.

Чому це важливо

Коефіцієнт $\rho$ показує, як переважити виграш $G_t$, отриманий під політикою поведінки, щоб він став незміщеною оцінкою того, яким був би виграш під цільовою політикою:

Інакше кажучи, навіть якщо дані були зібрані за допомогою $b$, ми все одно можемо оцінити очікувані виграші під $\pi$ — за умови, що $b$ надає ненульову ймовірність кожній дії, яку може обрати $\pi$ (умова покриття).

Практичні аспекти

Дисперсія вибіркового зважування

Використання вибіркового зважування є концептуально простим. Ми коригуємо оцінку функції значення дії $q(s, a)$, зважуючи кожну спостережувану віддачу відповідним коефіцієнтом вибіркового зважування. Найпростіша формула виглядає так:

де:

• $\rho_i(s, a)$ — коефіцієнт вибіркового зважування для $i$-ї траєкторії, що починається з $(s, a)$;
• $Returns_i(s, a)$ — віддача з цієї траєкторії;
• $N(s, a)$ — кількість відвідувань $(s, a)$.

Цей підхід називається звичайним вибірковим зважуванням. Він забезпечує несмещену оцінку $q(s, a)$, але може мати дуже велику дисперсію, особливо якщо поведінкова та цільова політики суттєво відрізняються.

Щоб зменшити дисперсію, можна використовувати більш стабільний варіант — зважене вибіркове зважування. Цей метод нормалізує ваги, що зменшує вплив великих коефіцієнтів і забезпечує стабільніше навчання:

У цій версії чисельник залишається зваженою сумою віддач, але знаменник тепер є сумою ваг вибіркового зважування, а не просто кількістю відвідувань.

Ця оцінка стає зміщеною, але зміщення зменшується зі збільшенням кількості зразків. На практиці зважене вибіркове зважування є кращим через значно меншу дисперсію та вищу числову стабільність.

Політики

Як і у випадку on-policy, використаємо $\varepsilon$-жадібні політики як для цільової політики $\pi(a | s)$, так і для поведінкової політики $b(a | s)$.

На перший погляд здається природним зробити цільову політику повністю жадібною — зрештою, наша кінцева мета — жадібна політика. Однак на практиці це спричиняє серйозну проблему: якщо на будь-якому кроці $\pi(a | s) = 0$ для дії, яку фактично виконала поведінкова політика, коефіцієнт важливості $\rho$ стає нульовим, і решта епізоду фактично ігнорується.

Використовуючи мале $\varepsilon$ (наприклад, $\varepsilon = 0.01$) у цільовій політиці, ми гарантуємо, що $\pi(a | s) > 0$ для кожної дії, тому $\rho$ ніколи не обнуляється посеред епізоду. Після завершення навчання легко перетворити отриману $\varepsilon$‑жадібну політику на строго жадібну. Як і при on‑policy навчанні, слід використовувати спадання $\varepsilon$ у поведінковій політиці, але цього разу це переважно потрібно для числової стабільності, оскільки $\rho$ все ще може стати нульовим посеред епізоду через особливості представлення чисел у комп'ютерах.

Псевдокод