Навчання з підкріпленням (RL) — це потужна галузь машинного навчання, зосереджена на тренуванні інтелектуальних агентів шляхом їхньої взаємодії з оточенням. У цьому курсі ви дізнаєтеся, як агенти поступово відкривають ефективні стратегії через спроби та помилки. Починаючи з основних понять, таких як марковські процеси прийняття рішень і багаторукі бандити, ви опануєте методи динамічного програмування, методи Монте-Карло та навчання з часовою різницею.

Дізнайтеся, як навчати агентів приймати оптимальні рішення методом проб і помилок. Ознайомтеся з основами теорії навчання з підкріпленням. Отримайте практичний досвід налаштування та запуску середовища Gymnasium.

Опанування компромісу між дослідженням і використанням на прикладі проблеми багаторукого бандита.
Реалізація оцінки цінності дій, ε-жадібного методу, методу верхньої довірчої межі та градієнтного бандита.
Оцінювання ефективності алгоритмів на симульованих завданнях максимізації винагороди.

Опанування динамічного програмування для модельно-орієнтованого навчання з підкріпленням. Вивчення використання рівнянь Беллмана для оцінки та покращення стратегій. Реалізація алгоритмів ітерації політики та ітерації значень. Дослідження узагальненої ітерації політики як теоретичної основи для безмодельних методів.

Оволодіння методами Монте-Карло для безмодельного навчання з підкріпленням. Оцінювання функцій цінності та отримання оптимальних стратегій на основі повних епізодів. Реалізація алгоритмів контролю Монте-Карло з політикою та без політики. Вивчення стратегій дослідження для оптимізації безмодельного навчання.

Опанування навчання з часовою різницею для безмодельного підкріплення. Оцінювання функцій цінності за частковими епізодами з використанням оновлень TD(0). Реалізація алгоритмів SARSA на політиці та Q-навчання поза політикою. Аналіз поєднання методів Монте-Карло та навчання з часовою різницею в n-кроковому TD і TD(λ).

Завдання: Методи Монте-Карло

Завдання

Awesome!

Завдання: Методи Монте-Карло

Завдання