Навчання з підкріпленням (RL) — це потужний напрям машинного навчання, зосереджений на тренуванні інтелектуальних агентів шляхом взаємодії з навколишнім середовищем. У цьому курсі ви дізнаєтеся, як агенти поступово знаходять ефективні стратегії через спроби та помилки. Починаючи з основних понять, таких як марковські процеси прийняття рішень і багаторукі бандити, ви ознайомитеся з динамічним програмуванням, методами Монте-Карло та навчанням з часовою різницею.

У цьому розділі розглядаються основні принципи навчання з підкріпленням, його визначальні риси, математичні основи та процес навчання агентів через взаємодію і зворотний зв'язок. Ви також ознайомитеся з базовими інструментами, необхідними для підготовки до створення та навчання перших агентів RL.

У цьому розділі розглядається проблема багаторукого бандита — чудова модель для розуміння дилеми дослідження та використання. Ви ознайомитеся з алгоритмами, які допомагають агентам приймати рішення в умовах невизначеності, балансуючи між максимізацією винагороди та необхідністю дослідження.

У цьому розділі представлено динамічне програмування як потужний метод розв’язання задач навчання з підкріпленням за наявності повної моделі середовища. Ви дізнаєтеся, як оцінювати та покращувати політики за допомогою рівнянь Беллмана, а також ознайомитеся з основними техніками, такими як ітерація політики, ітерація значення та узагальнена ітерація політики — формуючи теоретичну основу для майбутніх безмодельних методів.

У цьому розділі розглядаються методи Монте-Карло для навчання функцій цінності та стратегій на основі повних епізодів досвіду. Ви ознайомитеся з підходами на основі поточної стратегії та сторонньої стратегії, зрозумієте, як дослідження впливає на навчання, та реалізуєте інкрементальні методи для ефективної оцінки виграшів — усе це без необхідності моделі середовища.

У цьому розділі представлено навчання з часовою різницею (TD), фундаментальний метод у навчанні з підкріпленням, який поєднує ідеї Монте-Карло та динамічного програмування. Ви дізнаєтеся, як оцінювати функції цінності за неповними епізодами, ознайомитеся з політико-орієнтованим (SARSA) та політико-незалежним (Q-learning) підходами, а також дізнаєтеся, як можна поєднувати методи Монте-Карло та навчання з часовою різницею.

Завдання: Методи Монте-Карло

Завдання

Awesome!

Завдання: Методи Монте-Карло

Завдання