Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

Що таке RL?Підкріплювальне навчання проти інших парадигм навчання Марковський процес прийняття рішень Епізоди та Винагороди Модель, Політика та Значення Дослідження проти Використання Основи Gymnasium Завдання: Налаштування Середовища

2. Проблема Багаторукого Бандита

Вступ до Задачі Значення Дій Епсилон-Жадібний Алгоритм Алгоритм Верхньої Довірчої Межі Алгоритм Градієнтних Бандитів Завдання: Задача з Багаторукими Бандитами

3. Динамічне Програмування

Що таке динамічне програмування?Рівняння Беллмана Умови Оптимальності Оцінювання Політики Поліпшення Політики Узагальнена Ітерація Політики Ітерація політики Ітерація Значень Завдання: Динамічне Програмування

4. Методи Монте-Карло

Що Таке Методи Монте-Карло?Оцінювання Функції Цінності Керування методом Монте-Карло Підходи до Дослідження Керування Монте-Карло на Політиці Off-Policy Керування Методом Монте-Карло Інкрементні Реалізації Завдання: Методи Монте-Карло

5. Навчання з часовою різницею

Що таке навчання з часовою різницею?TD(0): Оцінювання Функції Цінності SARSA: Навчання з Часовою Різницею на Політиці Q-Навчання: Позаполітичне TD-Навчання Узагальнення TD-Навчання Завдання: Навчання з Часовою Різницею

Модель, Політика та Значення

Модель

Визначення

Модель — це представлення середовища, яке визначає ймовірності переходів між станами та очікувані винагороди за виконані дії.

Алгоритми навчання з підкріпленням можна поділити на дві категорії:

Модель-орієнтовані: у цьому підході агент навчається або має доступ до моделі середовища, що дозволяє йому імітувати майбутні стани та винагороди перед виконанням дій. Це дає змогу агенту планувати та приймати більш обґрунтовані рішення;
Безмодельні: у цьому підході агент не має прямої моделі середовища. Він навчається виключно через взаємодію із середовищем, покладаючись на метод спроб і помилок для знаходження найкращих дій.

На практиці середовища з явними моделями зустрічаються рідко, що ускладнює використання агентами модель-орієнтованих стратегій. У результаті безмодельні підходи стали більш поширеними та активно досліджуються у сфері навчання з підкріпленням і його застосуваннях.

Політика

Визначення

Політика $\pi$ — це стратегія, якої дотримується агент для вибору своїх дій на основі поточного стану середовища.

Існує два типи політик:

Детермінована політика: агент завжди обирає одну й ту ж дію для заданого стану;
Стохастична політика: агент обирає дії на основі ймовірнісних розподілів.

Під час процесу навчання метою агента є знаходження оптимальної політики. Оптимальна політика — це така, що максимізує очікувану винагороду, спрямовуючи агента до прийняття найкращих можливих рішень у будь-якому заданому стані.

Функції цінності

Функції цінності є ключовими для розуміння того, як агент оцінює потенціал певного стану або пари стан-дія. Вони використовуються для оцінки майбутніх очікуваних винагород, допомагаючи агентові приймати обґрунтовані рішення.

Функція цінності стану

Визначення

Функція цінності стану $V$ (або $v$ ) — це функція, яка визначає очікувану винагороду перебування в певному стані та дотримання заданої політики. Вона допомагає оцінити привабливість станів.

Значення стану можна математично виразити так:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s\Biggr]

Функція цінності стану-дії

Визначення

Функція цінності стану-дії $Q$ (або $q$ ) — це функція, яка визначає очікувану винагороду за виконання певної дії у заданому стані та подальше дотримання конкретної політики. Вона допомагає оцінити доцільність дій у станах.

Функція цінності стану-дії часто називається функцією цінності дії.

Значення дії можна виразити математично так:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s, A_t = a\Biggr]

Взаємозв'язок між моделлю, політикою та функціями цінності

Поняття моделі, політики та функцій цінності тісно пов'язані між собою, утворюючи комплексну структуру для класифікації алгоритмів навчання з підкріпленням. Ця структура визначається двома основними осями:

Ціль навчання: ця вісь відображає спектр алгоритмів RL залежно від їхньої орієнтації на функції цінності, політики або їхню комбінацію;
Застосування моделі: ця вісь розрізняє алгоритми залежно від того, чи використовують вони модель середовища, чи навчаються виключно через взаємодію.

Комбінуючи ці виміри, можна класифікувати алгоритми RL на окремі категорії, кожна з яких має власні характеристики та ідеальні сфери застосування. Розуміння цих взаємозв'язків допомагає обирати відповідний алгоритм для конкретних завдань, забезпечуючи ефективне навчання та прийняття рішень.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 1. Розділ 5

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

2. Проблема Багаторукого Бандита

3. Динамічне Програмування

4. Методи Монте-Карло

5. Навчання з часовою різницею

Модель, Політика та Значення

Модель

Визначення

Алгоритми навчання з підкріпленням можна поділити на дві категорії:

Модель-орієнтовані: у цьому підході агент навчається або має доступ до моделі середовища, що дозволяє йому імітувати майбутні стани та винагороди перед виконанням дій. Це дає змогу агенту планувати та приймати більш обґрунтовані рішення;
Безмодельні: у цьому підході агент не має прямої моделі середовища. Він навчається виключно через взаємодію із середовищем, покладаючись на метод спроб і помилок для знаходження найкращих дій.

Політика

Визначення

Існує два типи політик:

Детермінована політика: агент завжди обирає одну й ту ж дію для заданого стану;
Стохастична політика: агент обирає дії на основі ймовірнісних розподілів.

Функції цінності

Функція цінності стану

Визначення

Значення стану можна математично виразити так:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s\Biggr]

Функція цінності стану-дії

Визначення

Функція цінності стану-дії часто називається функцією цінності дії.

Значення дії можна виразити математично так:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s, A_t = a\Biggr]

Взаємозв'язок між моделлю, політикою та функціями цінності

Ціль навчання: ця вісь відображає спектр алгоритмів RL залежно від їхньої орієнтації на функції цінності, політики або їхню комбінацію;
Застосування моделі: ця вісь розрізняє алгоритми залежно від того, чи використовують вони модель середовища, чи навчаються виключно через взаємодію.

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 1. Розділ 5