Conteúdo do Curso

Introdução ao Aprendizado por Reforço

1. Teoria Central de RL

O Que É RL?RL vs. Outros Paradigmas de Aprendizado Processo de Decisão de Markov Episódios e Retornos Modelo, Política e Valores Exploração vs Exploração Noções Básicas de Gymnasium Desafio: Configurando um Ambiente

2. Problema do Bandido de Múltiplos Braços

Introdução ao Problema Valores de Ação Algoritmo Epsilon-Greedy Algoritmo do Limite Superior de Confiança Algoritmo de Bandido por Gradiente Desafio: Problema dos Multi-Armed Bandits

3. Programação Dinâmica

O Que É Programação Dinâmica?Equações de Bellman Condições de Otimalidade Avaliação de Política Melhoria de Política Iteração de Política Generalizada Iteração de Política Iteração de Valor Desafio: Programação Dinâmica

4. Métodos de Monte Carlo

O Que São Métodos de Monte Carlo?Estimação da Função de Valor Controle de Monte Carlo Abordagens de Exploração Controle Monte Carlo On-Policy Controle Monte Carlo Off-Policy Implementações Incrementais Desafio: Métodos de Monte Carlo

5. Aprendizado por Diferença Temporal

O Que É Aprendizado por Diferença Temporal?TD(0): Estimativa da Função de Valor SARSA: Aprendizado TD On-Policy Q-Learning: Aprendizado TD Off-Policy Generalização do Aprendizado TD Desafio: Aprendizado por Diferença Temporal

Equações de Bellman

Definição

Uma equação de Bellman é uma equação funcional que define uma função de valor em forma recursiva.

Para esclarecer a definição:

Uma equação funcional é uma equação cuja solução é uma função. Para a equação de Bellman, essa solução é a função de valor para a qual a equação foi formulada;
Uma forma recursiva significa que o valor no estado atual é expresso em termos dos valores nos estados futuros.

Em resumo, resolver a equação de Bellman fornece a função de valor desejada, e derivar essa equação exige identificar uma relação recursiva entre os estados atuais e futuros.

Função de Valor de Estado

Como lembrete, aqui está uma função de valor de estado em forma compacta:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s]

Para obter a equação de Bellman para esta função de valor, vamos expandir o lado direito da equação e estabelecer uma relação recursiva:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &= \E_\pi[G_t | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s]\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

A última equação desta cadeia é uma equação de Bellman para a função de valor de estado.

Intuição

Para encontrar o valor de um estado $s$ , deve-se:

Considerar todas as possíveis ações $a$ que podem ser tomadas a partir deste estado, cada uma ponderada pela probabilidade de escolha sob a política atual $\pi(a | s)$ ;
Para cada ação $a$ , considerar todos os possíveis próximos estados $s'$ e recompensas $r$ , ponderados por sua probabilidade $p(s', r | s, a)$ ;
Para cada um desses resultados, somar a recompensa imediata $r$ recebida mais o valor descontado do próximo estado $\gamma v_\pi(s')$ .

Ao somar todas essas possibilidades, obtém-se o valor esperado total do estado $s$ sob a política atual.

Função de Valor de Ação

Aqui está uma função de valor de ação em forma compacta:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a]

A dedução da equação de Bellman para esta função é bastante semelhante à anterior:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} q_\pi(s, a) &= \E_\pi[G_t | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s, A_t = a]\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') \Bigl(\E_\pi\Bigl[G_{t+1} | S_{t+1} = s', A_{t+1} = a'\Bigr]\Bigr)\Biggr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') q(s', a')\Biggr) \end{aligned}

A última equação desta cadeia é uma equação de Bellman para a função de valor de ação.

Intuição

Para encontrar o valor de um par estado-ação $(s, a)$ , você:

Considera todos os possíveis próximos estados $s'$ e recompensas $r$ , ponderados pela sua probabilidade $p(s', r | s, a)$ ;
Para cada um desses resultados, soma a recompensa imediata $r$ recebida mais o valor descontado do próximo estado;
Para calcular o valor do próximo estado $s'$ , para todas as ações $a'$ possíveis a partir do estado $s'$ , multiplica o valor da ação $q(s', a')$ pela probabilidade de escolher $a'$ no estado $s'$ sob a política atual $\pi(a' | s'$ . Em seguida, soma tudo para obter o valor final.

Ao somar todas essas possibilidades, obtém-se o valor esperado total do par estado-ação $(s, a)$ sob a política atual.

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 3. Capítulo 2

Pergunte à IA

Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo

Conteúdo do Curso

Introdução ao Aprendizado por Reforço

1. Teoria Central de RL

2. Problema do Bandido de Múltiplos Braços

Introdução ao Problema Valores de Ação Algoritmo Epsilon-Greedy Algoritmo do Limite Superior de Confiança Algoritmo de Bandido por Gradiente Desafio: Problema dos Multi-Armed Bandits

3. Programação Dinâmica

4. Métodos de Monte Carlo

5. Aprendizado por Diferença Temporal

Equações de Bellman

Definição

Uma equação de Bellman é uma equação funcional que define uma função de valor em forma recursiva.

Para esclarecer a definição:

Uma equação funcional é uma equação cuja solução é uma função. Para a equação de Bellman, essa solução é a função de valor para a qual a equação foi formulada;
Uma forma recursiva significa que o valor no estado atual é expresso em termos dos valores nos estados futuros.

Em resumo, resolver a equação de Bellman fornece a função de valor desejada, e derivar essa equação exige identificar uma relação recursiva entre os estados atuais e futuros.

Função de Valor de Estado

Como lembrete, aqui está uma função de valor de estado em forma compacta:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s]

Para obter a equação de Bellman para esta função de valor, vamos expandir o lado direito da equação e estabelecer uma relação recursiva:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &= \E_\pi[G_t | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s]\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

A última equação desta cadeia é uma equação de Bellman para a função de valor de estado.

Intuição

Para encontrar o valor de um estado $s$ , deve-se:

Considerar todas as possíveis ações $a$ que podem ser tomadas a partir deste estado, cada uma ponderada pela probabilidade de escolha sob a política atual $\pi(a | s)$ ;
Para cada ação $a$ , considerar todos os possíveis próximos estados $s'$ e recompensas $r$ , ponderados por sua probabilidade $p(s', r | s, a)$ ;
Para cada um desses resultados, somar a recompensa imediata $r$ recebida mais o valor descontado do próximo estado $\gamma v_\pi(s')$ .

Ao somar todas essas possibilidades, obtém-se o valor esperado total do estado $s$ sob a política atual.

Função de Valor de Ação

Aqui está uma função de valor de ação em forma compacta:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a]

A dedução da equação de Bellman para esta função é bastante semelhante à anterior:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} q_\pi(s, a) &= \E_\pi[G_t | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s, A_t = a]\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') \Bigl(\E_\pi\Bigl[G_{t+1} | S_{t+1} = s', A_{t+1} = a'\Bigr]\Bigr)\Biggr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') q(s', a')\Biggr) \end{aligned}

A última equação desta cadeia é uma equação de Bellman para a função de valor de ação.

Intuição

Para encontrar o valor de um par estado-ação $(s, a)$ , você:

Considera todos os possíveis próximos estados $s'$ e recompensas $r$ , ponderados pela sua probabilidade $p(s', r | s, a)$ ;
Para cada um desses resultados, soma a recompensa imediata $r$ recebida mais o valor descontado do próximo estado;
Para calcular o valor do próximo estado $s'$ , para todas as ações $a'$ possíveis a partir do estado $s'$ , multiplica o valor da ação $q(s', a')$ pela probabilidade de escolher $a'$ no estado $s'$ sob a política atual $\pi(a' | s'$ . Em seguida, soma tudo para obter o valor final.

Ao somar todas essas possibilidades, obtém-se o valor esperado total do par estado-ação $(s, a)$ sob a política atual.

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 3. Capítulo 2