Il valore d'azione è un concetto fondamentale nel problema MAB. Riveste un ruolo centrale in vari algoritmi, tra cui epsilon-greedy e upper confidence bound. Lo scopo principale di un valore d'azione è fornire una stima della ricompensa attesa quando viene scelta una specifica azione. È simile a un valore stato-azione, ma è indipendente dallo stato a causa della natura senza stato del problema MAB.

Definizione di valore d'azione

Formalmente, il valore d'azione, indicato come $Q(a)$, rappresenta la ricompensa attesa scegliendo l'azione $a$:

dove:

• $R$ è la ricompensa ricevuta;
• $A$ è l'azione selezionata.

Poiché la distribuzione reale delle ricompense è tipicamente sconosciuta, dobbiamo stimare $Q(a)$ utilizzando i dati osservati.

Stima dei Valori d'Azione

Esistono diversi modi per stimare $Q(a)$ sulla base delle ricompense osservate. Il metodo più comune è la stima della media campionaria, che calcola la ricompensa media ottenuta selezionando l'azione $a$ fino al tempo $t$:

dove:

• $Q_t(a)$ è il valore stimato dell'azione $a$ al passo temporale $t$;
• $N_t(a)$ è il numero di volte in cui l'azione $a$ è stata scelta fino al tempo $t$;
• $R_i$ è la ricompensa ottenuta in ciascuna occasione in cui è stata eseguita l'azione $a$.

Man mano che vengono raccolti più campioni, questa stima converge verso la vera ricompensa attesa $Q_*(a)$, assumendo che la distribuzione delle ricompense rimanga stazionaria.

Regola di Aggiornamento Incrementale

Sebbene la formula sopra possa essere utilizzata per stimare i valori delle azioni, richiede di memorizzare tutte le ricompense precedenti e di ricalcolare la loro somma ad ogni passo temporale. Con gli aggiornamenti incrementali, ciò diventa superfluo. La formula per gli aggiornamenti incrementali può essere derivata come segue:

dove, per una certa azione:

• $Q_k$ è una stima della $k$-esima ricompensa, che può essere espressa come una media delle prime $k-1$ ricompense;
• $R_k$ è la vera $k$-esima ricompensa.

Intuizione

Conoscendo la stima della $k$-esima ricompensa, $Q_k$, e la vera $k$-esima ricompensa, $R_k$, è possibile misurare l'errore come la differenza tra questi valori. Successivamente, la stima successiva può essere calcolata regolando leggermente la stima precedente nella direzione della ricompensa effettiva, per ridurre l'errore.

Questa intuizione porta a un'altra formula, che appare così:

dove $\alpha$ è un parametro di passo che controlla la velocità di apprendimento. Come nella formula precedente, alfa può essere $\frac1k$, e ciò porterà a una stima della media campionaria. In alternativa, si utilizza comunemente un $\alpha$ costante, poiché non richiede spazio aggiuntivo (per memorizzare quante volte un'azione è stata eseguita) e consente l'adattamento ad ambienti non stazionari dando maggiore peso alle osservazioni recenti.

Inizializzazione Ottimistica

All'inizio di un processo di addestramento, le stime dei valori d'azione possono variare significativamente, il che può portare a sfruttamento prematuro. Ciò significa che l'agente potrebbe sfruttare troppo presto le sue conoscenze iniziali, favorendo azioni subottimali basate su esperienza limitata. Per mitigare questo problema e favorire una esplorazione iniziale, una tecnica semplice ed efficace è l'inizializzazione ottimistica.

Nell'inizializzazione ottimistica, i valori d'azione vengono inizializzati a valori relativamente alti (ad esempio, $Q_0(a) = 1$ invece di 0). Questo approccio crea l'impressione che tutte le azioni siano inizialmente promettenti. Di conseguenza, l'agente è incentivato a esplorare ciascuna azione più volte prima di scegliere la migliore. Questa tecnica è più efficiente se utilizzata in combinazione con una dimensione del passo costante.