O Aprendizado por Reforço (RL) é um ramo poderoso do aprendizado de máquina focado no treinamento de agentes inteligentes por meio da interação com seu ambiente. Neste curso, você aprenderá como os agentes descobrem gradualmente comportamentos eficazes através de tentativa e erro. Começando com conceitos fundamentais como processos de decisão de Markov e multi-armed bandits, você avançará por programação dinâmica, métodos de Monte Carlo e aprendizado por diferença temporal.

Esta seção apresenta os princípios fundamentais do aprendizado por reforço, abordando suas características definidoras, fundamentos matemáticos e como os agentes aprendem por meio de interação e feedback. Você também terá contato prático com ferramentas essenciais para se preparar para construir e treinar seus primeiros agentes de RL.

Esta seção explora o problema do bandido de múltiplos braços — um excelente cenário para compreender o dilema entre exploração e exploração. Você aprenderá e implementará algoritmos que auxiliam agentes a tomar decisões sob incerteza, equilibrando a maximização de recompensas com a necessidade de explorar.

Esta seção apresenta a programação dinâmica como um método poderoso para resolver problemas de aprendizado por reforço quando um modelo completo do ambiente está disponível. Você aprenderá como avaliar e melhorar políticas utilizando as equações de Bellman e explorará técnicas centrais como iteração de políticas, iteração de valores e iteração generalizada de políticas — construindo a base teórica para futuros métodos sem modelo.

Esta seção apresenta os métodos de Monte Carlo para aprender funções de valor e políticas a partir de episódios completos de experiência. Você explorará abordagens on-policy e off-policy, compreenderá como a exploração afeta o aprendizado e implementará técnicas incrementais para estimar retornos de forma eficiente — tudo isso sem a necessidade de um modelo do ambiente.

Esta seção apresenta o aprendizado por diferença temporal (TD), um método fundamental em aprendizado por reforço que combina ideias de Monte Carlo e programação dinâmica. Você aprenderá como estimar funções de valor a partir de episódios incompletos, explorar abordagens on-policy (SARSA) e off-policy (Q-learning), e descobrir como métodos de Monte Carlo e aprendizado por diferença temporal podem ser combinados.

Desafio: Métodos de Monte Carlo

Desafio

Awesome!

Desafio: Métodos de Monte Carlo

Desafio