Handlingsvärde är ett grundläggande begrepp i MAB-problemet. Det spelar en avgörande roll i olika algoritmer, inklusive epsilon-girig och övre konfidensgräns. Det primära syftet med ett handlingsvärde är att ge en uppskattning av den förväntade belöningen när en specifik åtgärd väljs. Det liknar ett tillstånd-handlingsvärde, men är oberoende av tillstånd på grund av MAB-problemets tillståndslösa natur.

Definition av handlingsvärde

Formellt representerar handlingsvärdet, betecknat som $Q(a)$, den förväntade belöningen av att välja åtgärd $a$:

där:

• $R$ är den mottagna belöningen;
• $A$ är den valda åtgärden.

Eftersom den sanna belöningsfördelningen vanligtvis är okänd, måste vi uppskatta $Q(a)$ med hjälp av observerade data.

Uppskattning av åtgärdsvärden

Det finns flera sätt att uppskatta $Q(a)$ baserat på observerade belöningar. Den vanligaste metoden är stickprovsmedelvärdesuppskattningen, som beräknar medelvärdet av belöningen som erhållits från att välja åtgärd $a$ fram till tidpunkt $t$:

där:

• $Q_t(a)$ är det uppskattade värdet för åtgärd $a$ vid tidpunkt $t$;
• $N_t(a)$ är antalet gånger åtgärd $a$ har valts fram till tidpunkt $t$;
• $R_i$ är belöningen som erhållits vid varje tillfälle då åtgärd $a$ valdes.

När fler stickprov samlas in, konvergerar denna uppskattning mot den sanna förväntade belöningen $Q_*(a)$ under förutsättning att belöningsfördelningen förblir stationär.

Inkrementell uppdateringsregel

Även om formeln ovan kan användas för att uppskatta åtgärdsvärden kräver den att alla tidigare belöningar lagras och att deras summa beräknas om vid varje tidssteg. Med inkrementella uppdateringar blir detta onödigt. Formeln för inkrementella uppdateringar kan härledas så här:

för någon åtgärd där:

• $Q_k$ är en uppskattning av den $k$-te belöningen, som kan uttryckas som ett medelvärde av de första $k-1$ belöningarna;
• $R_k$ är den faktiska $k$-te belöningen.

Intuition

Genom att känna till uppskattningen av den $k$-te belöningen, $Q_k$, och den faktiska $k$-te belöningen, $R_k$, kan felet mätas som skillnaden mellan dessa värden. Därefter kan nästa uppskattning beräknas genom att justera den föregående uppskattningen något i riktning mot den faktiska belöningen, för att minska felet.

Denna intuition leder till en annan formel, som ser ut så här:

där $\alpha$ är en steglängdsparameter som styr inlärningshastigheten. Precis som i den tidigare formeln kan alfa vara $\frac1k$, vilket resulterar i en stickprovsbaserad medelvärdesuppskattning. Alternativt används ofta en konstant $\alpha$, eftersom det inte kräver något extra utrymme (för att lagra hur många gånger en åtgärd har utförts) och möjliggör anpassning till icke-stationära miljöer genom att lägga större vikt vid senaste observationer.

Optimistisk initialisering

I början av en träningsprocess kan uppskattningarna av åtgärdsvärden variera avsevärt, vilket kan leda till för tidig exploatering. Detta innebär att agenten kan utnyttja sin initiala kunskap för tidigt och därmed gynna suboptimala åtgärder baserat på begränsad erfarenhet. För att motverka detta och uppmuntra till initial utforskning är en enkel och effektiv teknik optimistisk initialisering.

Vid optimistisk initialisering initieras åtgärdsvärden till relativt höga värden (t.ex. $Q_0(a) = 1$ istället för 0). Detta skapar intrycket att alla åtgärder är lovande från början. Som ett resultat uppmuntras agenten att utforska varje åtgärd flera gånger innan den väljer det bästa alternativet. Denna teknik är mest effektiv när den används tillsammans med konstant steglängd.