El valor de acción es un concepto fundamental en el problema MAB. Desempeña un papel crucial en varios algoritmos, incluidos epsilon-greedy y upper confidence bound. El objetivo principal de un valor de acción es proporcionar una estimación de la recompensa esperada al elegir una acción específica. Es similar a un valor estado-acción, pero es independiente de un estado debido a la naturaleza sin estado del problema MAB.

Definición de valor de acción

Formalmente, el valor de acción, denotado como $Q(a)$, representa la recompensa esperada al elegir la acción $a$:

donde:

• $R$ es la recompensa recibida;
• $A$ es la acción seleccionada.

Dado que la distribución real de recompensas suele ser desconocida, debemos estimar $Q(a)$ utilizando los datos observados.

Estimación de los valores de acción

Existen varios métodos para estimar $Q(a)$ a partir de las recompensas observadas. El método más común es la estimación por promedio de muestras, que calcula la media de las recompensas recibidas al seleccionar la acción $a$ hasta el tiempo $t$:

donde:

• $Q_t(a)$ es el valor estimado de la acción $a$ en el paso de tiempo $t$;
• $N_t(a)$ es el número de veces que la acción $a$ ha sido seleccionada hasta el tiempo $t$;
• $R_i$ es la recompensa obtenida en cada instancia en que se tomó la acción $a$.

A medida que se recopilan más muestras, esta estimación converge al valor esperado real $Q_*(a)$, suponiendo que la distribución de recompensas permanezca estacionaria.

Regla de actualización incremental

Aunque la fórmula anterior puede utilizarse para estimar los valores de acción, requiere almacenar todas las recompensas previas y recalcular su suma en cada paso de tiempo. Con las actualizaciones incrementales, esto se vuelve innecesario. La fórmula para las actualizaciones incrementales se puede derivar de la siguiente manera:

donde para alguna acción:

• $Q_k$ es una estimación de la $k$-ésima recompensa, que puede expresarse como un promedio de las primeras $k-1$ recompensas;
• $R_k$ es la $k$-ésima recompensa real.

Intuición

Conociendo la estimación de la $k$-ésima recompensa, $Q_k$, y la recompensa real $R_k$, se puede medir el error como la diferencia entre estos valores. Posteriormente, la siguiente estimación puede calcularse ajustando ligeramente la estimación previa en la dirección de la recompensa real, para reducir el error.

Esta intuición conduce a otra fórmula, que se expresa así:

donde $\alpha$ es un parámetro de tamaño de paso que controla la tasa de aprendizaje. Como en la fórmula anterior, alfa puede ser $\frac1k$, y resultará en una estimación promedio muestral. Alternativamente, se utiliza comúnmente un $\alpha$ constante, ya que no requiere espacio adicional (para almacenar cuántas veces se ha tomado una acción) y permite la adaptación a entornos no estacionarios al dar mayor peso a las observaciones recientes.

Inicialización optimista

Al comienzo de un proceso de entrenamiento, las estimaciones de los valores de acción pueden variar significativamente, lo que puede llevar a una explotación prematura. Esto significa que el agente puede explotar su conocimiento inicial demasiado pronto, favoreciendo acciones subóptimas basadas en una experiencia limitada. Para mitigar este problema y fomentar la exploración inicial, una técnica simple y efectiva es la inicialización optimista.

En la inicialización optimista, los valores de acción se inicializan con valores relativamente altos (por ejemplo, $Q_0(a) = 1$ en lugar de 0). Este enfoque crea la impresión de que todas las acciones son prometedoras inicialmente. Como resultado, el agente está incentivado a explorar cada acción varias veces antes de decidirse por la mejor opción. Esta técnica es más eficiente cuando se utiliza en combinación con un tamaño de paso constante.