TD(0): Estimativa da Função de Valor

A versão mais simples do aprendizado por diferença temporal é chamada de TD(0). Ela atualiza o valor de um estado com base na recompensa imediata e no valor estimado do próximo estado. Trata-se de um método TD de um passo.

Regra de Atualização

Dado um estado $S_t$, recompensa $R_{t+1}$ e próximo estado $S_{t+1}$, a regra de atualização é:

onde

• $\alpha$ é a taxa de aprendizado, ou tamanho do passo;
• $\delta_t = R_{t+1}+\gamma V(S_{t+1}) - V(S_t)$ é o erro TD.

Intuição

A função de valor de estado $v_\pi$ pode ser definida e expandida da seguinte forma:

Isso fornece a primeira parte de $\delta_t$ — o retorno experimentado $R_{t+1} + \gamma V(S_{t+1})$. E a segunda parte de $\delta_t$ é o retorno esperado $V(S_t)$. O erro TD $\delta_t$ é, portanto, a discrepância observável entre o que realmente aconteceu e o que acreditávamos que aconteceria. Assim, a regra de atualização ajusta a crença anterior um pouco a cada passo, aproximando-a da verdade.

TD(0) vs Estimativa de Monte Carlo

Tanto o TD(0) quanto a estimativa de Monte Carlo utilizam experiências amostradas para estimar a função de valor de estado $v_\pi(s)$ para uma política $\pi$. Sob condições padrão de convergência, ambos convergem para o verdadeiro $v_\pi(s)$ à medida que o número de visitas a cada estado tende ao infinito. Na prática, porém, geralmente dispomos apenas de uma quantidade finita de dados, e os dois métodos diferem significativamente em como utilizam esses dados e na velocidade com que aprendem.

Compromisso entre viés e variância

Do ponto de vista do compromisso entre viés e variância:

A estimação de Monte Carlo espera até o final de um episódio e então utiliza o retorno completo para atualizar os valores. Isso gera estimativas sem viés — os retornos refletem verdadeiramente a distribuição subjacente — mas podem variar drasticamente, especialmente em tarefas longas ou altamente estocásticas. Alta variância significa que muitos episódios são necessários para suavizar o ruído e obter estimativas de valor estáveis.

O TD(0) utiliza bootstrap ao combinar cada recompensa de um passo com a estimativa atual do valor do próximo estado. Isso introduz viés — as atualizações iniciais dependem de estimativas imperfeitas — mas mantém a variância baixa, já que cada atualização é baseada em um erro pequeno e incremental. Menor variância permite que o TD(0) propague informações de recompensa pelo espaço de estados mais rapidamente, mesmo que o viés inicial possa retardar a convergência.

Aprendizado de Dados vs Aprendizado de Modelo

Outra maneira de analisar esses dois métodos é observar o que cada um realmente aprende:

Estimativa de Monte Carlo aprende diretamente a partir dos retornos observados, ajustando suas estimativas de valor aos episódios específicos que presenciou. Isso significa que minimiza o erro nessas trajetórias de treinamento, mas como nunca constrói uma visão explícita de como os estados levam uns aos outros, pode ter dificuldade para generalizar para situações novas ou ligeiramente diferentes.

TD(0), por outro lado, faz bootstrap a cada transição de um passo, combinando a recompensa imediata com sua estimativa do valor do próximo estado. Ao fazer isso, captura efetivamente as relações entre os estados — um modelo implícito da dinâmica do ambiente. Esse entendimento semelhante a um modelo permite que o TD(0) generalize melhor para transições não vistas, frequentemente resultando em estimativas de valor mais precisas em novos dados.

Pseudocódigo