Summary  
This chapter covers the reinforcement learning paradigm, focusing on implementing agents that learn optimal sequences of actions through trial-and-error interaction with an environment to maximize long-term rewards without relying on labeled data.

General domain of usage  
Game playing

**Aprendizado de máquina** consiste em três principais paradigmas de aprendizado, cada um adequado para diferentes tipos de problemas. **Aprendizado por reforço** é um deles, juntamente com **aprendizado supervisionado** e **aprendizado não supervisionado**.

## Principais características do RL

- **Sem dados rotulados**: RL não requer pares de entrada-saída predefinidos, mas aprende a partir da experiência;
- **Aprendizado por tentativa e erro**: o agente explora diferentes ações e refina sua estratégia com base no feedback;
- **Tomada de decisão sequencial**: RL é projetado para tarefas em que as decisões atuais afetam resultados futuros;
- **Maximização de recompensa**: o objetivo do aprendizado é otimizar recompensas de longo prazo em vez de correção de curto prazo.

## Como os Três Paradigmas de ML se Comparam

Sem conjunto de dados fixo (interage com o ambiente)

Aprende por tentativa e erro interagindo com o ambiente

Mapeia entradas para saídas usando dados rotulados

Recompensas e penalidades orientam o aprendizado por meio de interações

Feedback direto baseado em respostas corretas conhecidas

Sem feedback explícito, descobre a estrutura por conta própria

## Por que o Reinforcement Learning é Diferente
O reinforcement learning compartilha algumas semelhanças com outros paradigmas, mas se destaca devido à sua abordagem única do processo de aprendizado.
### Supervised Learning
No **supervised learning**, um conjunto de dados fornece instruções explícitas sobre qual deve ser a saída correta. No **reinforcement learning**, não há **supervisão explícita**—o agente precisa descobrir as melhores ações por meio da experiência.

### Unsupervised Learning
O **unsupervised learning** encontra **padrões ocultos** nos dados sem objetivos específicos. O **reinforcement learning** aprende **por meio da interação** com um ambiente para alcançar um **objetivo explícito** (por exemplo, vencer um jogo).

O Aprendizado por Reforço (RL) é um ramo poderoso do aprendizado de máquina focado no treinamento de agentes inteligentes por meio da interação com seu ambiente. Neste curso, você aprenderá como os agentes descobrem gradualmente comportamentos eficazes através de tentativa e erro. Começando com conceitos fundamentais como processos de decisão de Markov e multi-armed bandits, você avançará por programação dinâmica, métodos de Monte Carlo e aprendizado por diferença temporal.

Descubra como treinar agentes para tomar decisões ótimas por meio de tentativa e erro.
Explore os fundamentos da teoria de aprendizado por reforço.
Obtenha experiência prática configurando e executando um ambiente Gymnasium.

Domínio do equilíbrio entre exploração e exploração por meio do problema do bandido de múltiplos braços. Implementação de estimativa de valor de ação, métodos ε-greedy, limite superior de confiança e bandido de gradiente. Avaliação do desempenho dos algoritmos em tarefas simuladas de maximização de recompensa.

Domínio da programação dinâmica para RL baseado em modelos.
Descoberta de como as equações de Bellman podem ser utilizadas para avaliar e aprimorar políticas.
Implementação dos algoritmos de iteração de política e de valor.
Exploração da iteração generalizada de políticas como base teórica para métodos sem modelo.

Domínio dos métodos de Monte Carlo para RL sem modelo. Estimativa de funções de valor e derivação de políticas ótimas a partir de episódios completos. Implementação de algoritmos de controle de Monte Carlo on-policy e off-policy. Exploração de estratégias de exploração para otimizar o aprendizado sem modelo.

Domínio do aprendizado por diferença temporal para RL sem modelo. Estimativa de funções de valor a partir de episódios parciais utilizando atualizações TD(0). Implementação dos algoritmos SARSA on-policy e Q-Learning off-policy. Exploração da combinação entre métodos de Monte Carlo e aprendizado por diferença temporal em TD de n passos e TD(λ).

RL vs. Outros Paradigmas de Aprendizado

Principais características do RL

Como os Três Paradigmas de ML se Comparam

Por que o Reinforcement Learning é Diferente

Supervised Learning

Unsupervised Learning