Зміст курсу

Вступ до навчання з підкріпленням

1. Основна Теорія Навчання з Підкріпленням

Що таке RL?Підкріплювальне навчання проти інших парадигм навчання Марковський процес прийняття рішень Епізоди та Винагороди Модель, Політика та Значення Дослідження проти Використання Основи Gymnasium Завдання: Налаштування Середовища

2. Проблема Багаторукого Бандита

Вступ до Задачі Значення Дій Епсилон-Жадібний Алгоритм Алгоритм Верхньої Довірчої Межі Алгоритм Градієнтних Бандитів Завдання: Задача з Багаторукими Бандитами

3. Динамічне Програмування

Що таке динамічне програмування?Рівняння Беллмана Умови Оптимальності Оцінювання Політики Поліпшення Політики Узагальнена Ітерація Політики Ітерація політики Ітерація Значень Завдання: Динамічне Програмування

4. Методи Монте-Карло

Що Таке Методи Монте-Карло?Оцінювання Функції Цінності Керування методом Монте-Карло Підходи до Дослідження Керування Монте-Карло на Політиці Off-Policy Керування Методом Монте-Карло Інкрементні Реалізації Завдання: Методи Монте-Карло

5. Навчання з часовою різницею

Що таке навчання з часовою різницею?TD(0): Оцінювання Функції Цінності SARSA: Навчання з Часовою Різницею на Політиці Q-Навчання: Позаполітичне TD-Навчання Узагальнення TD-Навчання Завдання: Навчання з Часовою Різницею

Завдання: Задача з Багаторукими Бандитами

Відтепер ви отримуватимете завдання з програмування у форматі Jupyter Notebook. Якщо ви вмієте правильно налаштовувати середовище для таких ноутбуків, можете скористатися цим. Однак ми рекомендуємо використовувати Google Colab, оскільки він має багато переваг порівняно зі звичайними Jupyter ноутбуками. Прочитайте цю статтю, щоб дізнатися, як працює Colab.

Примітка

Перевірка правильності вашого розв’язання може бути складною, і можуть виникати помилки. Якщо ви впевнені, що ваше розв’язання правильне, але його позначено як неправильне, уважно перегляньте рекомендоване розв’язання. Якщо ви все ще не знаходите помилок, спробуйте реалізувати рекомендоване розв’язання в окремій комірці та запустіть його.

Як відкрити ноутбук і виконати завдання?

Щоб відкрити ноутбук і виконати завдання, дотримуйтесь наступних кроків:

Завантажте ноутбук: кнопку для завантаження можна знайти внизу цієї сторінки;
Відкрийте Google Colab: перейдіть на сайт та увійдіть у свій Google-акаунт;
Відкрийте ноутбук: скористайтеся File > Upload notebook або File > Open notebook > Upload і виберіть файл, який ви завантажили. Якщо бажаєте продовжити роботу після перерви, скористайтеся File > Open notebook > Recent і знайдіть свій ноутбук у цьому вікні;
Дотримуйтесь інструкцій: у ноутбуці будуть детальні інструкції до завдань. Ознайомтеся з ними перед виконанням завдань;
Отримайте ключ: після розв'язання кожного завдання ви отримаєте частину ключа, необхідного для завершення розділу. Введіть ці частини у вікторину внизу сторінки після завершення челенджу, щоб підтвердити виконання всіх завдань.

Челендж

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 2. Розділ 6

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат