Свайпніть щоб показати меню

Так само, як і у методах Монте-Карло, можна використовувати підхід узагальненої ітерації політики (GPI) для переходу від оцінки функцій цінності до навчання оптимальних політик. Однак цей процес супроводжується знайомою проблемою: компроміс між дослідженням і використанням. І, як і раніше, існує два підходи: on-policy та off-policy. Спочатку розглянемо on-policy метод — SARSA.

Визначення

SARSA — це on-policy TD алгоритм керування, який використовується для оцінки функції цінності дії $q_\pi(s, a)$ . Оновлює свої оцінки на основі фактично виконаної дії, що робить його on-policy алгоритмом.

Абревіатура SARSA походить від п’яти ключових компонентів, які використовуються при оновленні:

S: поточний стан $S_t$ ;
A: виконана дія $A_t$ ;
R: отримана винагорода $R_{t+1}$ ;
S: наступний стан $S_{t+1}$ ;
A: наступна дія $A_{t+1}$ .

Правило оновлення

Правило оновлення подібне до TD(0), лише замість функції значення стану використовується функція значення дії:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) - Q(S_t, A_t)\Bigr)

$A_{t+1}$ — це дія, яка фактично буде виконана на наступному кроці, і вона обирається відповідно до поточної політики. Це означає, що вплив дослідження враховується у процесі навчання.

Після кожного оновлення функції значення дії політика також оновлюється, дозволяючи агенту одразу використовувати нові оцінки.

Псевдокод

Коли використовувати SARSA?

SARSA доцільно використовувати, коли:

Маєте справу з середовищами з високою стохастичністю (наприклад, слизькі поверхні, ненадійні переходи);
Прийнятна повільніша збіжність заради безпечнішої поведінки під час навчання.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 5. Розділ 3

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

SARSA: Навчання з Часовою Різницею на Основі Політики