Summary  
This chapter explains the policy iteration algorithm, which alternates between fully evaluating a given policy’s value function and greedily improving the policy based on that value until convergence.

General domain of usage  
Reinforcement learning

A ideia por trás da **iteração de política** é simples:
1. Escolher uma $$\pi$$ e $$v$$ iniciais;
2. Utilizar a avaliação de política para atualizar $$v$$ até que esteja consistente com $$\pi$$;
3. Utilizar a melhoria de política para atualizar $$\pi$$ até que seja gananciosa em relação a $$v$$;
4. Repetir os passos 2-3 até a convergência.

Neste método, **não há atualizações parciais**:
- Durante a **avaliação de política**, os valores são atualizados para cada estado, até que estejam consistentes com a política atual;
- Durante a **melhoria de política**, a política é tornada gananciosa em relação à função de valor.

Com base no pseudocódigo, qual condição faz com que o loop externo da iteração de política pare?

O Aprendizado por Reforço (RL) é um ramo poderoso do aprendizado de máquina focado no treinamento de agentes inteligentes por meio da interação com seu ambiente. Neste curso, você aprenderá como os agentes descobrem gradualmente comportamentos eficazes através de tentativa e erro. Começando com conceitos fundamentais como processos de decisão de Markov e multi-armed bandits, você avançará por programação dinâmica, métodos de Monte Carlo e aprendizado por diferença temporal.

Esta seção apresenta os princípios fundamentais do aprendizado por reforço, abordando suas características definidoras, fundamentos matemáticos e como os agentes aprendem por meio de interação e feedback. Você também terá contato prático com ferramentas essenciais para se preparar para construir e treinar seus primeiros agentes de RL.

Esta seção explora o problema do bandido de múltiplos braços — um excelente cenário para compreender o dilema entre exploração e exploração. Você aprenderá e implementará algoritmos que auxiliam agentes a tomar decisões sob incerteza, equilibrando a maximização de recompensas com a necessidade de explorar.

Esta seção apresenta a programação dinâmica como um método poderoso para resolver problemas de aprendizado por reforço quando um modelo completo do ambiente está disponível. Você aprenderá como avaliar e melhorar políticas utilizando as equações de Bellman e explorará técnicas centrais como iteração de políticas, iteração de valores e iteração generalizada de políticas — construindo a base teórica para futuros métodos sem modelo.

Esta seção apresenta os métodos de Monte Carlo para aprender funções de valor e políticas a partir de episódios completos de experiência. Você explorará abordagens on-policy e off-policy, compreenderá como a exploração afeta o aprendizado e implementará técnicas incrementais para estimar retornos de forma eficiente — tudo isso sem a necessidade de um modelo do ambiente.

Esta seção apresenta o aprendizado por diferença temporal (TD), um método fundamental em aprendizado por reforço que combina ideias de Monte Carlo e programação dinâmica. Você aprenderá como estimar funções de valor a partir de episódios incompletos, explorar abordagens on-policy (SARSA) e off-policy (Q-learning), e descobrir como métodos de Monte Carlo e aprendizado por diferença temporal podem ser combinados.

Iteração de Política

Pseudocódigo

Awesome!

Iteração de Política

Pseudocódigo