Akkurat som med Monte Carlo-metoder, kan vi følge generalized policy iteration (GPI)-rammeverket for å gå fra å estimere verdifunksjoner til å lære optimale strategier. Denne prosessen introduserer imidlertid en velkjent utfordring: utforsknings-utnyttelses-dilemmaet. På samme måte finnes det to tilnærminger vi kan bruke: on-policy og off-policy. Først skal vi se på on-policy-metoden — SARSA.

Forkortelsen SARSA kommer fra de fem sentrale komponentene som brukes i oppdateringen:

• S: nåværende tilstand $S_t$;
• A: handling utført $A_t$;
• R: mottatt belønning $R_{t+1}$;
• S: neste tilstand $S_{t+1}$;
• A: neste handling $A_{t+1}$.

Oppdateringsregel

Oppdateringsregelen ligner på TD(0), men erstatter tilstandsverdifunksjonen med handlingsverdifunksjonen:

$A_{t+1}$ er handlingen som faktisk vil bli utført i neste steg, og den velges i henhold til gjeldende policy. Dette innebærer at effekten av utforskning blir inkludert i læringsprosessen.

Etter hver oppdatering av handlingsverdifunksjonen, oppdateres også policyen, slik at agenten umiddelbart kan benytte de nye estimatene.

Pseudokode

Når bør SARSA brukes?

SARSA er å foretrekke når:

• Du arbeider med miljøer med høy stokastisitet (f.eks. glatte overflater, upålitelige overganger);
• Det er akseptabelt med tregere konvergens i bytte mot tryggere atferd under læring.