Summary  
The chapter introduces SARSA, an on-policy temporal-difference learning algorithm that updates action-value estimates and the policy simultaneously by incorporating the next chosen action into each update to balance exploration and exploitation.

General domain of usage  
Reinforcement learning

Precis som med Monte Carlo-metoder kan vi följa **generaliserad policy-iteration (GPI)**-ramverket för att gå från att uppskatta värdefunktioner till att lära oss optimala policies. Denna process introducerar dock en välkänd utmaning: **utforsknings- och exploateringsavvägningen**. På samma sätt finns det två tillvägagångssätt vi kan använda: **on-policy** och **off-policy**. Först diskuterar vi **on-policy**-metoden — **SARSA**.

**SARSA** är en on-policy TD-kontrollalgoritm som används för att uppskatta åtgärdsvärdefunktionen $$q_\pi(s, a)$$. Den uppdaterar sina uppskattningar baserat på **den faktiskt utförda åtgärden**, vilket gör den till en **on-policy**-algoritm.

Definition

Akronymen SARSA kommer från de fem nyckelkomponenterna som används vid uppdateringen:
- **S**: nuvarande tillstånd $$S_t$$;
- **A**: vald åtgärd $$A_t$$;
- **R**: erhållen belöning $$R_{t+1}$$;
- **S**: nästa tillstånd $$S_{t+1}$$;
- **A**: nästa åtgärd $$A_{t+1}$$.

Uppdateringsregeln liknar **TD(0)**, men ersätter tillståndsvärdesfunktionen med åtgärdsvärdesfunktionen:
$$
Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) - Q(S_t, A_t)\Bigr) 
$$

$$A_{t+1}$$ är den åtgärd som faktiskt kommer att utföras i nästa steg, och den väljs enligt den aktuella policyn. Detta innebär att effekterna av utforskning integreras i inlärningsprocessen.

Efter varje uppdatering av åtgärdsvärdesfunktionen uppdateras även policyn, vilket gör att agenten omedelbart kan använda de nya uppskattningarna.

SARSA är att föredra när:
- Du arbetar med miljöer med hög stokasticitet (t.ex. hala ytor, opålitliga övergångar);
- Långsammare konvergens accepteras i utbyte mot säkrare beteende under inlärning.

 I vilket scenario är SARSA särskilt att föredra?

Reinforcement Learning (RL) är en kraftfull gren av maskininlärning som fokuserar på att träna intelligenta agenter genom interaktion med sin omgivning. I denna kurs lär du dig hur agenter gradvis upptäcker effektiva beteenden genom försök och misstag. Med början i grundläggande begrepp som Markovbeslutsprocesser och multiarmade banditer, går du vidare till dynamisk programmering, Monte Carlo-metoder och temporär differensinlärning.

Upptäck hur agenter tränas att fatta optimala beslut genom trial and error. Utforska grunderna i förstärkningsinlärningens teori. Få praktisk erfarenhet av att konfigurera och köra en Gymnasium-miljö.

Bemästra utforsknings- och exploateringsavvägningen genom multi-armed bandit-problemet. Implementera åtgärdsvärdesuppskattning, ε-girig, övre konfidensgräns och gradient-banditmetoder. Utvärdera algoritmers prestanda på simulerade belöningsmaximeringsuppgifter.

Behärska dynamisk programmering för modellbaserad RL. Upptäck hur Bellmans ekvationer kan användas för att utvärdera och förbättra policies.
Implementera algoritmer för policy- och värdeiteration.
Utforska generaliserad policyiteration som den teoretiska grunden för modellfria metoder.

Behärska Monte Carlo-metoder för modellfri RL. Uppskatta värdefunktioner och härled optimala policies från fullständiga episoder. Implementera on-policy och off-policy Monte Carlo-kontrollalgoritmer. Utforska strategier för utforskning för att optimera modellfritt lärande.

Behärska temporär differensinlärning för modellfri RL. Skatta värdefunktioner från partiella episoder med hjälp av TD(0)-uppdateringar. Implementera on-policy SARSA och off-policy Q-Learning-algoritmer. Utforska hur Monte Carlo-metoder och TD-inlärning kombineras i n-stegs TD och TD(λ).

SARSA: On-Policy TD-inlärning

Uppdateringsregel

Pseudokod

När ska SARSA användas?