Net als bij Monte Carlo-methoden kunnen we het gegeneraliseerde beleid-iteratie (GPI)-raamwerk volgen om van het schatten van waardefuncties naar het leren van optimale beleidslijnen te gaan. Dit proces introduceert echter een bekende uitdaging: de exploratie-exploitatie-afweging. Evenzo zijn er twee benaderingen die we kunnen gebruiken: on-policy en off-policy. Laten we eerst de on-policy methode bespreken — SARSA.

Het acroniem SARSA is afkomstig van de vijf belangrijkste componenten die in de update worden gebruikt:

• S: huidige toestand $S_t$;
• A: genomen actie $A_t$;
• R: ontvangen beloning $R_{t+1}$;
• S: volgende toestand $S_{t+1}$;
• A: volgende actie $A_{t+1}$.

Update-regel

De update-regel lijkt op die van TD(0), maar vervangt de toestandswaardefunctie door de actiewaardefunctie:

De $A_{t+1}$ is de actie die daadwerkelijk wordt uitgevoerd in de volgende stap en wordt geselecteerd volgens het huidige beleid. Dit betekent dat de effecten van exploratie worden meegenomen in het leerproces.

Na elke update van de actiewaardefunctie wordt het beleid ook bijgewerkt, waardoor de agent direct gebruik kan maken van de nieuwe schattingen.

Pseudocode

Wanneer SARSA gebruiken?

SARSA is te verkiezen wanneer:

• Je te maken hebt met omgevingen met hoge stochastiek (bijvoorbeeld gladde oppervlakken, onbetrouwbare overgangen);
• Langzamere convergentie acceptabel is in ruil voor veiliger gedrag tijdens het leren.