Kursusindhold

Introduktion til Reinforcement Learning

1. RL Kerneprincipper

Hvad er RL?RL vs Andre Læringsparadigmer Markov Beslutningsproces Episoder og Afkast Model, Politik og Værdier Udforskning vs Udnyttelse Gymnasium Grundlæggende Udfordring: Opsætning af et Miljø

2. Multi-Armet Bandit-Problem

Problemintroduktion Aktionsværdier Epsilon-Grådig Algoritme Algoritme for Øvre Konfidensgrænse Gradient Bandit-Algoritme Udfordring: Multi-Armede Banditter

3. Dynamisk Programmering

Hvad Er Dynamisk Programmering?Bellman-Ligninger Optimalitetsbetingelser Politikevaluering Politikforbedring Generel Policy-Iteration Policyiteration Værdiiteration Udfordring: Dynamisk Programmering

4. Monte Carlo-metoder

Hvad er Monte Carlo-metoder?Estimering af Værdifunktion Monte Carlo-Kontrol Udforskningsmetoder On-Policy Monte Carlo-Kontrol Off-Policy Monte Carlo-Kontrol Inkrementelle Implementeringer Udfordring: Monte Carlo-metoder

5. Temporal Difference-Læring

Hvad Er Temporal Difference-Læring?TD(0): Værdifunktionsestimering SARSA: On-Policy TD-Læring Q-Learning: Off-Policy TD-Læring Generalisering af TD-Læring Udfordring: Temporal Difference Læring

Politikforbedring

Definition

Politikforbedring er en proces, hvor politikken forbedres baseret på de nuværende estimater af værdifunktionen.

Bemærk

Ligesom ved politikkevaluering kan politikforbedring anvendes med både tilstandsværdifunktion og aktionsværdifunktion. Men for DP-metoder vil tilstandsværdifunktionen blive brugt.

Nu hvor du kan estimere tilstandsværdifunktionen for en vilkårlig politik, er det naturlige næste skridt at undersøge, om der findes politikker, der er bedre end den nuværende. En måde at gøre dette på er at overveje at tage en anden handling $a$ i en tilstand $s$ og derefter følge den nuværende politik. Hvis dette lyder bekendt, er det fordi det ligner definitionen af aktionsværdifunktionen:

q_\pi(s, a) = \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Hvis denne nye værdi er større end den oprindelige tilstandsværdi $v_\pi(s)$ , indikerer det, at det at vælge handling $a$ i tilstand $s$ og derefter fortsætte med politik $\pi$ fører til bedre resultater end udelukkende at følge politik $\pi$ . Da tilstande er uafhængige, er det optimalt altid at vælge handling $a$ , når tilstand $s$ opstår. Derfor kan vi konstruere en forbedret politik $\pi'$ , som er identisk med $\pi$ , bortset fra at den vælger handling $a$ i tilstand $s$ , hvilket vil være bedre end den oprindelige politik $\pi$ .

Politisk forbedringsteorem

Den ovenfor beskrevne ræsonnement kan generaliseres som politisk forbedringsteorem:

\begin{aligned} &q_\pi(s, \pi'(s)) \ge v_\pi(s) \qquad &\forall s \in S\\ \implies &v_{\pi'}(s) \ge v_\pi(s) \qquad &\forall s \in S \end{aligned}

Beviset for denne sætning er relativt simpelt og kan opnås ved en gentagen substitution:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &\le q_\pi(s, \pi'(s))\\ &= \E_{\pi'}[R_{t+1} + \gamma v_\pi(S_{t+1}) | S_t = s]\\ &\le \E_{\pi'}[R_{t+1} + \gamma q_\pi(S_{t+1}, \pi'(S_{t+1})) | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma \E_{\pi'}[R_{t+2} + \gamma v_\pi(S_{t+2})] | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 v_\pi(S_{t+2}) | S_t = s]\\ &...\\ &\le \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= v_{\pi'}(s) \end{aligned}

Forbedringsstrategi

Selvom opdatering af handlinger for visse tilstande kan føre til forbedringer, er det mere effektivt at opdatere handlinger for alle tilstande samtidigt. Specifikt vælges for hver tilstand $s$ den handling $a$ , der maksimerer handlingsværdien $q_\pi(s, a)$ :

\begin{aligned} \pi'(s) &\gets \argmax_a q_\pi(s, a)\\ &\gets \argmax_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

hvor $\argmax$ (forkortelse for argumentet for maksimum) er en operator, der returnerer værdien af den variabel, der maksimerer en given funktion.

Den resulterende grådige politik, betegnet som $\pi'$ , opfylder betingelserne i policy improvement-sætningen ved konstruktion, hvilket garanterer, at $\pi'$ er mindst lige så god som den oprindelige politik $\pi$ , og typisk bedre.

Hvis $\pi'$ er lige så god som, men ikke bedre end $\pi$ , så er både $\pi'$ og $\pi$ optimale politikker, da deres værdifunktioner er ens og opfylder Bellmans optimalitetsligning:

v_\pi(s) = \max_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Var alt klart?

Tak for dine kommentarer!

Sektion 3. Kapitel 5

Spørg AI

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat