Introduktion til Reinforcement Learning

Kursusindhold

Introduktion til Reinforcement Learning

Introduktion til Reinforcement Learning

1. RL Kerneprincipper

Hvad er RL?RL vs Andre Læringsparadigmer Markov Beslutningsproces Episoder og Afkast Model, Politik og Værdier Udforskning vs Udnyttelse Gymnasium Grundlæggende Udfordring: Opsætning af et Miljø

2. Multi-Armet Bandit-Problem

Problemintroduktion Aktionsværdier Epsilon-Grådig Algoritme Algoritme for Øvre Konfidensgrænse Gradient Bandit-Algoritme Udfordring: Multi-Armede Banditter

3. Dynamisk Programmering

Hvad Er Dynamisk Programmering?Bellman-Ligninger Optimalitetsbetingelser Politikevaluering Politikforbedring Generel Policy-Iteration Policyiteration Værdiiteration Udfordring: Dynamisk Programmering

4. Monte Carlo-metoder

Hvad er Monte Carlo-metoder?Estimering af Værdifunktion Monte Carlo-Kontrol Udforskningsmetoder On-Policy Monte Carlo-Kontrol Off-Policy Monte Carlo-Kontrol Inkrementelle Implementeringer Udfordring: Monte Carlo-metoder

5. Temporal Difference-Læring

Hvad Er Temporal Difference-Læring?TD(0): Værdifunktionsestimering SARSA: On-Policy TD-Læring Q-Learning: Off-Policy TD-Læring Generalisering af TD-Læring Udfordring: Temporal Difference Læring

Q-Learning: Off-Policy TD-Læring

At lære en optimal politik med SARSA kan være udfordrende. Ligesom ved on-policy Monte Carlo-kontrol kræver det typisk en gradvis nedtrapning af $\varepsilon$ over tid, som til sidst nærmer sig nul for at skifte fra udforskning til udnyttelse. Denne proces er ofte langsom og kan kræve omfattende træningstid. Et alternativ er at anvende en off-policy metode som Q-learning.

Definition

Q-learning er en off-policy TD-kontrolalgoritme, der bruges til at estimere den optimale handlingsværdifunktion $q_*(s, a)$ . Den opdaterer sine estimater baseret på den aktuelt bedste handling, hvilket gør den til en off-policy algoritme.

Opdateringsregel

I modsætning til off-policy Monte Carlo-kontrol kræver Q-learning ikke importance sampling for at korrigere for forskelle mellem adfærds- og målfunktioner. I stedet benytter det en direkte opdateringsregel, der minder meget om SARSA, men med en væsentlig forskel.

Q-learning opdateringsreglen er:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma \max_a Q(S_{t+1}, a) - Q(S_t, A_t)\Bigr)

Den eneste forskel fra SARSA ligger i målværdien. I stedet for at bruge værdien af den næste handling, der faktisk udføres, som SARSA gør:

\gamma Q(S_{t+1}, A_{t+1})

benytter Q-learning værdien af den bedst mulige næste handling:

\gamma \max_a Q(S_{t+1}, a)

Denne subtile ændring har en stor betydning: den gør det muligt for Q-learning at evaluere handlinger ved hjælp af et estimat af den optimale politik, selv mens agenten stadig udforsker. Det er det, der gør det til en off-policy metode — den lærer om den grådige politik, uanset hvilke handlinger der vælges under træningen.

Hvornår skal Q-learning anvendes?

Q-learning er at foretrække når:

Du arbejder med deterministiske miljøer eller miljøer;
Du har behov for hurtigere konvergenshastighed.

Var alt klart?

Tak for dine kommentarer!

Sektion 5. Kapitel 4

Spørg AI

Spørg AI

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat

Kursusindhold

Introduktion til Reinforcement Learning

Introduktion til Reinforcement Learning

1. RL Kerneprincipper

Hvad er RL?RL vs Andre Læringsparadigmer Markov Beslutningsproces Episoder og Afkast Model, Politik og Værdier Udforskning vs Udnyttelse Gymnasium Grundlæggende Udfordring: Opsætning af et Miljø

2. Multi-Armet Bandit-Problem

Problemintroduktion Aktionsværdier Epsilon-Grådig Algoritme Algoritme for Øvre Konfidensgrænse Gradient Bandit-Algoritme Udfordring: Multi-Armede Banditter

3. Dynamisk Programmering

Hvad Er Dynamisk Programmering?Bellman-Ligninger Optimalitetsbetingelser Politikevaluering Politikforbedring Generel Policy-Iteration Policyiteration Værdiiteration Udfordring: Dynamisk Programmering

4. Monte Carlo-metoder

Hvad er Monte Carlo-metoder?Estimering af Værdifunktion Monte Carlo-Kontrol Udforskningsmetoder On-Policy Monte Carlo-Kontrol Off-Policy Monte Carlo-Kontrol Inkrementelle Implementeringer Udfordring: Monte Carlo-metoder

5. Temporal Difference-Læring

Hvad Er Temporal Difference-Læring?TD(0): Værdifunktionsestimering SARSA: On-Policy TD-Læring Q-Learning: Off-Policy TD-Læring Generalisering af TD-Læring Udfordring: Temporal Difference Læring

Q-Learning: Off-Policy TD-Læring

At lære en optimal politik med SARSA kan være udfordrende. Ligesom ved on-policy Monte Carlo-kontrol kræver det typisk en gradvis nedtrapning af $\varepsilon$ over tid, som til sidst nærmer sig nul for at skifte fra udforskning til udnyttelse. Denne proces er ofte langsom og kan kræve omfattende træningstid. Et alternativ er at anvende en off-policy metode som Q-learning.

Definition

Q-learning er en off-policy TD-kontrolalgoritme, der bruges til at estimere den optimale handlingsværdifunktion $q_*(s, a)$ . Den opdaterer sine estimater baseret på den aktuelt bedste handling, hvilket gør den til en off-policy algoritme.

Opdateringsregel

I modsætning til off-policy Monte Carlo-kontrol kræver Q-learning ikke importance sampling for at korrigere for forskelle mellem adfærds- og målfunktioner. I stedet benytter det en direkte opdateringsregel, der minder meget om SARSA, men med en væsentlig forskel.

Q-learning opdateringsreglen er:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma \max_a Q(S_{t+1}, a) - Q(S_t, A_t)\Bigr)

Den eneste forskel fra SARSA ligger i målværdien. I stedet for at bruge værdien af den næste handling, der faktisk udføres, som SARSA gør:

\gamma Q(S_{t+1}, A_{t+1})

benytter Q-learning værdien af den bedst mulige næste handling:

\gamma \max_a Q(S_{t+1}, a)

Denne subtile ændring har en stor betydning: den gør det muligt for Q-learning at evaluere handlinger ved hjælp af et estimat af den optimale politik, selv mens agenten stadig udforsker. Det er det, der gør det til en off-policy metode — den lærer om den grådige politik, uanset hvilke handlinger der vælges under træningen.

Hvornår skal Q-learning anvendes?

Q-learning er at foretrække når:

Du arbejder med deterministiske miljøer eller miljøer;
Du har behov for hurtigere konvergenshastighed.

Var alt klart?

Tak for dine kommentarer!

Sektion 5. Kapitel 4

some-alt