Contenido del Curso

Introducción al Aprendizaje por Refuerzo

1. Teoría Central de RL

¿Qué Es RL?RL Frente a Otros Paradigmas de Aprendizaje Proceso de Decisión de Markov Episodios y Retornos Modelo, Política y Valores Exploración vs Explotación Fundamentos de Gymnasium Desafío: Configuración de un Entorno

2. Problema del Bandido de Varios Brazos

Introducción al Problema Valores de Acción Algoritmo Epsilon-Greedy Algoritmo de Límite Superior de Confianza Algoritmo de Bandidos de Gradiente Desafío: Bandidos Multi-Brazo

3. Programación Dinámica

¿Qué es la Programación Dinámica?Ecuaciones de Bellman Condiciones de Optimalidad Evaluación de Políticas Mejora de Políticas Iteración Generalizada de Políticas Iteración de Políticas Iteración de Valores Desafío: Programación Dinámica

4. Métodos de Monte Carlo

¿Qué Son los Métodos Monte Carlo?Estimación de la Función de Valor Control Monte Carlo Enfoques de Exploración Control Monte Carlo en la Misma Política Control Monte Carlo Fuera de Política Implementaciones Incrementales Desafío: Métodos de Monte Carlo

5. Aprendizaje por Diferencia Temporal

¿Qué Es el Aprendizaje por Diferencia Temporal?TD(0): Estimación de la Función de Valor SARSA: Aprendizaje TD en Política Q-Learning: Aprendizaje TD Fuera de Política Generalización del Aprendizaje TD Desafío: Aprendizaje por Diferencia Temporal

Q-Learning: Aprendizaje TD Fuera de Política

Aprender una política óptima con SARSA puede ser un desafío. De manera similar al control Monte Carlo en política, normalmente requiere una disminución gradual de $\varepsilon$ con el tiempo, acercándose finalmente a cero para pasar de la exploración a la explotación. Este proceso suele ser lento y puede requerir un tiempo de entrenamiento extenso. Una alternativa es utilizar un método fuera de política como Q-learning.

Definición

Q-learning es un algoritmo de control TD fuera de política utilizado para estimar la función de valor de acción óptima $q_*(s, a)$ . Actualiza sus estimaciones en función de la mejor acción actual, lo que lo convierte en un algoritmo fuera de política.

Regla de actualización

A diferencia del control Monte Carlo fuera de política, Q-learning no requiere muestreo de importancia para corregir las diferencias entre las políticas de comportamiento y objetivo. En su lugar, se basa en una regla de actualización directa que se asemeja mucho a SARSA, pero con una diferencia clave.

La regla de actualización de Q-learning es:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma \max_a Q(S_{t+1}, a) - Q(S_t, A_t)\Bigr)

La única diferencia con SARSA está en el valor objetivo. En lugar de usar el valor de la siguiente acción realmente tomada, como hace SARSA:

\gamma Q(S_{t+1}, A_{t+1})

Q-learning utiliza el valor de la mejor acción posible siguiente:

\gamma \max_a Q(S_{t+1}, a)

Este cambio sutil tiene un gran impacto: permite que Q-learning evalúe las acciones utilizando una estimación de la política óptima, incluso mientras el agente sigue explorando. Eso es lo que lo convierte en un método fuera de política: aprende sobre la política codiciosa, independientemente de las acciones elegidas durante el entrenamiento.

¿Cuándo usar Q-learning?

Q-learning es preferible cuando:

Se trabaja con entornos deterministas, o entornos;
Se requiere una mayor velocidad de convergencia.

¿Todo estuvo claro?

¡Gracias por tus comentarios!

Sección 5. Capítulo 4

Pregunte a AI

Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla