Precis som med Monte Carlo-metoder kan vi följa generaliserad policysupprepning (GPI)-ramverket för att gå från att uppskatta värdefunktioner till att lära oss optimala policies. Denna process introducerar dock en välkänd utmaning: utforsknings- och exploateringsavvägningen. På samma sätt finns det två tillvägagångssätt vi kan använda: on-policy och off-policy. Först diskuterar vi on-policy-metoden — SARSA.

Akronymen SARSA kommer från de fem nyckelkomponenterna som används vid uppdateringen:

• S: aktuellt tillstånd $S_t$;
• A: vald åtgärd $A_t$;
• R: erhållen belöning $R_{t+1}$;
• S: nästa tillstånd $S_{t+1}$;
• A: nästa åtgärd $A_{t+1}$.

Uppdateringsregel

Uppdateringsregeln liknar TD(0), men ersätter tillståndsvärdesfunktionen med åtgärdsvärdesfunktionen:

Här är $A_{t+1}$ den åtgärd som faktiskt kommer att utföras i nästa steg, och den väljs enligt den aktuella policyn. Detta innebär att effekterna av utforskning integreras i inlärningsprocessen.

Efter varje uppdatering av åtgärdsvärdesfunktionen uppdateras även policyn, vilket gör att agenten omedelbart kan använda de nya uppskattningarna.

Pseudokod

När ska SARSA användas?

SARSA är att föredra när:

• Du arbetar med miljöer med hög stokasticitet (t.ex. hala ytor, opålitliga övergångar);
• Det är acceptabelt med långsammare konvergens i utbyte mot säkrare beteende under inlärning.