Conteúdo do Curso

Introdução ao Aprendizado por Reforço

1. Teoria Central de RL

O Que É RL?RL vs. Outros Paradigmas de Aprendizado Processo de Decisão de Markov Episódios e Retornos Modelo, Política e Valores Exploração vs Exploração Noções Básicas de Gymnasium Desafio: Configurando um Ambiente

2. Problema do Bandido de Múltiplos Braços

Introdução ao Problema Valores de Ação Algoritmo Epsilon-Greedy Algoritmo do Limite Superior de Confiança Algoritmo de Bandido por Gradiente Desafio: Problema dos Multi-Armed Bandits

3. Programação Dinâmica

O Que É Programação Dinâmica?Equações de Bellman Condições de Otimalidade Avaliação de Política Melhoria de Política Iteração de Política Generalizada Iteração de Política Iteração de Valor Desafio: Programação Dinâmica

4. Métodos de Monte Carlo

O Que São Métodos de Monte Carlo?Estimação da Função de Valor Controle de Monte Carlo Abordagens de Exploração Controle Monte Carlo On-Policy Controle Monte Carlo Off-Policy Implementações Incrementais Desafio: Métodos de Monte Carlo

5. Aprendizado por Diferença Temporal

O Que É Aprendizado por Diferença Temporal?TD(0): Estimativa da Função de Valor SARSA: Aprendizado TD On-Policy Q-Learning: Aprendizado TD Off-Policy Generalização do Aprendizado TD Desafio: Aprendizado por Diferença Temporal

Generalização do Aprendizado TD

Até agora, consideramos dois casos extremos de aprendizado a partir da experiência:

TD(0): utiliza o retorno de um passo;
Monte Carlo: espera até o final do episódio para calcular o retorno.

Mas e se quisermos algo intermediário? Algo que aproveite mais informações futuras do que o TD(0), mas que não precise aguardar o episódio completo como o Monte Carlo?

É aqui que entram o aprendizado TD de $n$ passos e o TD( $\lambda$ ) — métodos que unificam e generalizam as ideias vistas até agora.

$\Large n$ -Passos TD Learning

A ideia por trás do aprendizado TD de $n$ passos é simples: em vez de usar apenas o próximo passo ou todo o episódio, utilizamos os próximos $n$ passos, e então fazemos o bootstrap:

G_t^{(n)} = R_{t+1} + \gamma R_{t+2} + ... + \gamma^{n-1} R_{t+n} + \gamma^n V(S_{t+1})

Isso permite um equilíbrio:

Quando $n = 1$ : é simplesmente TD(0);
Quando $n = \infty$ : torna-se Monte Carlo.

Esses retornos podem então ser usados para substituir o alvo na regra de atualização do TD(0):

V(S_t) \gets V(S_t) + \alpha\Bigl(G_t^{(n)} - V(S_t)\Bigr)

TD( $\Large\lambda$ )

TD( $\lambda$ ) é um conceito engenhoso que se baseia no aprendizado TD de $n$ passos: em vez de escolher um $n$ fixo, combinam-se todos os retornos de $n$ passos juntos:

L_t = (1 - \lambda) \sum_{n=0}^{\infty} \lambda^{n-1}G_t^{(n)}

onde $\lambda \in [0, 1]$ controla a ponderação:

Se $\lambda = 0$ : apenas o retorno de um passo $\to$ TD(0);
Se $\lambda = 1$ : retorno completo $\to$ Monte Carlo;
Valores intermediários mesclam múltiplos retornos de passos.

Assim, $\lambda$ funciona como um ajuste de compromisso entre viés e variância:

$\lambda$ baixo: mais viés, menos variância;
$\lambda$ alto: menos viés, mais variância.

$L_t$ pode então ser utilizado como alvo de atualização na regra de atualização do TD(0):

V(S_t) \gets V(S_t) + \alpha\Bigl(L_t - V(S_t)\Bigr)

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 5. Capítulo 5

Pergunte à IA

Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo

Conteúdo do Curso

Introdução ao Aprendizado por Reforço

1. Teoria Central de RL

2. Problema do Bandido de Múltiplos Braços

Introdução ao Problema Valores de Ação Algoritmo Epsilon-Greedy Algoritmo do Limite Superior de Confiança Algoritmo de Bandido por Gradiente Desafio: Problema dos Multi-Armed Bandits

3. Programação Dinâmica

4. Métodos de Monte Carlo

5. Aprendizado por Diferença Temporal

Generalização do Aprendizado TD

Até agora, consideramos dois casos extremos de aprendizado a partir da experiência:

TD(0): utiliza o retorno de um passo;
Monte Carlo: espera até o final do episódio para calcular o retorno.

Mas e se quisermos algo intermediário? Algo que aproveite mais informações futuras do que o TD(0), mas que não precise aguardar o episódio completo como o Monte Carlo?

É aqui que entram o aprendizado TD de $n$ passos e o TD( $\lambda$ ) — métodos que unificam e generalizam as ideias vistas até agora.

$\Large n$ -Passos TD Learning

A ideia por trás do aprendizado TD de $n$ passos é simples: em vez de usar apenas o próximo passo ou todo o episódio, utilizamos os próximos $n$ passos, e então fazemos o bootstrap:

G_t^{(n)} = R_{t+1} + \gamma R_{t+2} + ... + \gamma^{n-1} R_{t+n} + \gamma^n V(S_{t+1})

Isso permite um equilíbrio:

Quando $n = 1$ : é simplesmente TD(0);
Quando $n = \infty$ : torna-se Monte Carlo.

Esses retornos podem então ser usados para substituir o alvo na regra de atualização do TD(0):

V(S_t) \gets V(S_t) + \alpha\Bigl(G_t^{(n)} - V(S_t)\Bigr)

TD( $\Large\lambda$ )

TD( $\lambda$ ) é um conceito engenhoso que se baseia no aprendizado TD de $n$ passos: em vez de escolher um $n$ fixo, combinam-se todos os retornos de $n$ passos juntos:

L_t = (1 - \lambda) \sum_{n=0}^{\infty} \lambda^{n-1}G_t^{(n)}

onde $\lambda \in [0, 1]$ controla a ponderação:

Se $\lambda = 0$ : apenas o retorno de um passo $\to$ TD(0);
Se $\lambda = 1$ : retorno completo $\to$ Monte Carlo;
Valores intermediários mesclam múltiplos retornos de passos.

Assim, $\lambda$ funciona como um ajuste de compromisso entre viés e variância:

$\lambda$ baixo: mais viés, menos variância;
$\lambda$ alto: menos viés, mais variância.

$L_t$ pode então ser utilizado como alvo de atualização na regra de atualização do TD(0):

V(S_t) \gets V(S_t) + \alpha\Bigl(L_t - V(S_t)\Bigr)

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 5. Capítulo 5

Introdução ao Aprendizado por Reforço

Generalização do Aprendizado TD

n\Large nn-Passos TD Learning

TD(λ\Large\lambdaλ)

Introdução ao Aprendizado por Reforço

Generalização do Aprendizado TD

n\Large nn-Passos TD Learning

TD(λ\Large\lambdaλ)

$\Large n$ -Passos TD Learning

TD( $\Large\lambda$ )

$\Large n$ -Passos TD Learning

TD( $\Large\lambda$ )