Summary  
Value iteration is an algorithm for solving Markov Decision Processes by merging policy evaluation and improvement into a single update: it repeatedly applies the Bellman optimality equation to the value function until it converges, then derives the optimal policy.  

General domain of usage  
Reinforcement learning

Хоча **ітерація політики** є ефективним підходом для розв'язання **марковських процесів прийняття рішень (MDP)**, вона має суттєвий недолік: кожна ітерація включає окремий етап **оцінювання політики**. Коли **оцінювання політики** виконується **ітеративно**, це вимагає багаторазового проходження всього **простору станів**, що призводить до значних обчислювальних витрат і збільшення часу обчислень.

Гарною альтернативою є **ітерація значення** — метод, який об'єднує оцінювання політики та покращення політики в **один крок**. Цей метод оновлює функцію значення безпосередньо до її **оптимального значення**. Після досягнення збіжності **оптимальна політика** може бути отримана безпосередньо з цієї оптимальної функції значення.

**Ітерація значення** працює шляхом виконання лише одного резервного кроку під час оцінювання політики перед покращенням політики. Це призводить до наступної формули оновлення:

$$
v_{k+1}(s) \gets \max_a \sum_{s',r}p(s',r|s,a)\Bigl(r+\gamma v_k(s')\Bigr) \qquad \forall s \in S
$$

Перетворюючи рівняння оптимальності Беллмана на правило оновлення, оцінювання політики та покращення політики об'єднуються в один крок.

Згідно з псевдокодом, коли зупиняється ітерація за значенням?

Навчання з підкріпленням (RL) — це потужна гілка машинного навчання, зосереджена на тренуванні інтелектуальних агентів шляхом їхньої взаємодії з оточенням. У цьому курсі ви дізнаєтеся, як агенти поступово знаходять ефективні стратегії через спроби та помилки. Починаючи з основних понять, таких як марковські процеси прийняття рішень і багаторукі бандити, ви поступово перейдете до динамічного програмування, методів Монте-Карло та навчання з часовою різницею.

Дізнайтеся, як навчати агентів приймати оптимальні рішення шляхом спроб і помилок. Ознайомтеся з основами теорії підкріплювального навчання. Отримайте практичний досвід налаштування та запуску середовища Gymnasium.

Опанування компромісу між дослідженням і використанням через проблему багаторукого бандита. Реалізація оцінки цінності дій, ε-жадібного методу, методу верхньої довірчої межі та градієнтного бандита. Оцінювання ефективності алгоритмів на змодельованих завданнях максимізації винагороди.

Опанування динамічного програмування для модельно-орієнтованого навчання з підкріпленням. Вивчення використання рівнянь Беллмана для оцінки та покращення стратегій. Реалізація алгоритмів ітерації політики та ітерації значення. Ознайомлення з узагальненою ітерацією політики як теоретичною основою для безмодельних методів.

Опанування методів Монте-Карло для безмодельного навчання з підкріпленням. Оцінювання функцій цінності та виведення оптимальних стратегій на основі повних епізодів. Реалізація алгоритмів керування Монте-Карло на політиці та поза політикою. Вивчення стратегій дослідження для оптимізації безмодельного навчання.

Опанування навчання з часовою різницею для безмодельного підкріплення. Оцінювання функцій цінності за частковими епізодами з використанням оновлень TD(0). Реалізація алгоритмів SARSA на політиці та Q-Learning поза політикою. Вивчення поєднання методів Монте-Карло та навчання з часовою різницею у n-кроковому TD та TD(λ).

Ітерація Значень

Як це працює?

Псевдокод