Conteúdo do Curso

Introdução ao Aprendizado por Reforço

1. Teoria Central de RL

O Que É RL?RL vs. Outros Paradigmas de Aprendizado Processo de Decisão de Markov Episódios e Retornos Modelo, Política e Valores Exploração vs Exploração Noções Básicas de Gymnasium Desafio: Configurando um Ambiente

2. Problema do Bandido de Múltiplos Braços

Introdução ao Problema Valores de Ação Algoritmo Epsilon-Greedy Algoritmo do Limite Superior de Confiança Algoritmo de Bandido por Gradiente Desafio: Problema dos Multi-Armed Bandits

3. Programação Dinâmica

O Que É Programação Dinâmica?Equações de Bellman Condições de Otimalidade Avaliação de Política Melhoria de Política Iteração de Política Generalizada Iteração de Política Iteração de Valor Desafio: Programação Dinâmica

4. Métodos de Monte Carlo

O Que São Métodos de Monte Carlo?Estimação da Função de Valor Controle de Monte Carlo Abordagens de Exploração Controle Monte Carlo On-Policy Controle Monte Carlo Off-Policy Implementações Incrementais Desafio: Métodos de Monte Carlo

5. Aprendizado por Diferença Temporal

O Que É Aprendizado por Diferença Temporal?TD(0): Estimativa da Função de Valor SARSA: Aprendizado TD On-Policy Q-Learning: Aprendizado TD Off-Policy Generalização do Aprendizado TD Desafio: Aprendizado por Diferença Temporal

O Que É Aprendizado por Diferença Temporal?

Tanto a programação dinâmica quanto os métodos de Monte Carlo apresentam ideias valiosas e algumas limitações significativas.

Programação Dinâmica

A programação dinâmica oferece uma maneira eficiente de calcular a função de valor de estado e derivar uma política ótima a partir dela. Utiliza o bootstrapping — cálculo do valor do estado atual com base nos valores dos estados futuros — para alcançar esse objetivo.

Embora a ideia de bootstrapping seja poderosa, a programação dinâmica possui duas grandes limitações:

Exige um modelo completo e explícito do ambiente;
Os valores dos estados são calculados para cada estado, mesmo que o estado esteja distante do caminho ótimo.

Métodos de Monte Carlo

Os métodos de Monte Carlo corrigem as duas desvantagens da programação dinâmica:

Não exigem um modelo, pois aprendem a partir da experiência;
A forma como aprendem com a experiência torna a exploração mais limitada, de modo que estados não importantes raramente são visitados.

No entanto, introduzem uma nova limitação — o processo de aprendizagem ocorre apenas após a conclusão do episódio. Isso restringe a aplicabilidade dos métodos de Monte Carlo a tarefas episódicas pequenas, já que tarefas maiores exigiriam um número absurdamente grande de ações até que o episódio fosse concluído.

Aprendizado por Diferença Temporal

Definição

Aprendizado por diferença temporal (TD) resulta da combinação das ideias de programação dinâmica e métodos de Monte Carlo. Adota a abordagem de aprendizado a partir da experiência dos métodos de Monte Carlo e a combina com o bootstrapping da programação dinâmica.

Como resultado, o aprendizado TD soluciona os principais problemas dos dois métodos:

Aprendizado a partir da experiência resolve a necessidade de um modelo e a questão de grandes espaços de estados;
Bootstrapping resolve a limitação do aprendizado episódico.

Como Funciona?

O aprendizado TD funciona por meio de um ciclo simples:

Estimar o valor: o agente começa com uma suposição inicial de quão bom é o estado atual;
Executar uma ação: ele realiza uma ação, recebe uma recompensa e termina em um novo estado;
Atualizar a estimativa: usando a recompensa e o valor do novo estado, o agente ajusta levemente sua estimativa original para torná-la mais precisa;
Repetir: com o tempo, ao repetir esse ciclo, o agente gradualmente constrói estimativas de valor melhores e mais precisas para diferentes estados.

Tabela Comparativa

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 5. Capítulo 1

Pergunte à IA

Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo