Kursusindhold

Introduktion til Reinforcement Learning

1. RL Kerneprincipper

Hvad er RL?RL vs Andre Læringsparadigmer Markov Beslutningsproces Episoder og Afkast Model, Politik og Værdier Udforskning vs Udnyttelse Gymnasium Grundlæggende Udfordring: Opsætning af et Miljø

2. Multi-Armet Bandit-Problem

Problemintroduktion Aktionsværdier Epsilon-Grådig Algoritme Algoritme for Øvre Konfidensgrænse Gradient Bandit-Algoritme Udfordring: Multi-Armede Banditter

3. Dynamisk Programmering

Hvad Er Dynamisk Programmering?Bellman-Ligninger Optimalitetsbetingelser Politikevaluering Politikforbedring Generel Policy-Iteration Policyiteration Værdiiteration Udfordring: Dynamisk Programmering

4. Monte Carlo-metoder

Hvad er Monte Carlo-metoder?Estimering af Værdifunktion Monte Carlo-Kontrol Udforskningsmetoder On-Policy Monte Carlo-Kontrol Off-Policy Monte Carlo-Kontrol Inkrementelle Implementeringer Udfordring: Monte Carlo-metoder

5. Temporal Difference-Læring

Hvad Er Temporal Difference-Læring?TD(0): Værdifunktionsestimering SARSA: On-Policy TD-Læring Q-Learning: Off-Policy TD-Læring Generalisering af TD-Læring Udfordring: Temporal Difference Læring

SARSA: On-Policy TD-Læring

Ligesom med Monte Carlo-metoder kan vi følge generaliseret politik-iteration (GPI)-rammen for at gå fra at estimere værdifunktioner til at lære optimale politikker. Denne proces introducerer dog en velkendt udfordring: udforsknings-udnyttelses-afvejningen. På samme måde findes der to tilgange, vi kan anvende: on-policy og off-policy. Først ser vi på on-policy-metoden — SARSA.

Definition

SARSA er en on-policy TD-kontrolalgoritme, der bruges til at estimere handlingsværdifunktionen $q_\pi(s, a)$ . Den opdaterer sine estimater baseret på den faktisk udførte handling, hvilket gør den til en on-policy algoritme.

Forkortelsen SARSA stammer fra de fem nøglekomponenter, der bruges i opdateringen:

S: nuværende tilstand $S_t$ ;
A: udført handling $A_t$ ;
R: modtaget belønning $R_{t+1}$ ;
S: næste tilstand $S_{t+1}$ ;
A: næste handling $A_{t+1}$ .

Opdateringsregel

Opdateringsreglen ligner TD(0), men erstatter tilstands-værdi funktionen med handlings-værdi funktionen:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) - Q(S_t, A_t)\Bigr)

$A_{t+1}$ er den handling, der faktisk udføres i det næste trin, og den vælges i henhold til den nuværende politik. Dette betyder, at effekten af udforskning indgår i læringsprocessen.

Efter hver opdatering af handlings-værdi funktionen opdateres politikken også, hvilket gør det muligt for agenten straks at anvende de nye estimater.

Pseudokode

Hvornår skal SARSA anvendes?

SARSA foretrækkes når:

Du arbejder med miljøer med høj stokasticitet (f.eks. glatte overflader, upålidelige overgange);
Langsommere konvergens accepteres i bytte for mere sikker adfærd under indlæring.

Var alt klart?

Tak for dine kommentarer!

Sektion 5. Kapitel 3

Spørg AI

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat