Kursinnehåll

Introduktion till Förstärkningsinlärning

1. RL Kärnteori

Vad är RL?RL Jämfört Med Andra Inlärningsparadigm Markovbeslutsprocess Episoder och Belöningar Modell, Policy och Värden Utforskning kontra Exploatering Gymnasium-Grunder Utmaning: Konfigurera en Miljö

2. Multi-Armed Bandit-Problemet

Probleminledning Aktionsvärden Epsilon-Girig Algoritm Algoritm för Övre Konfidensgräns Gradientbanditalgoritm Utmaning: Multi-Armed Bandits

3. Dynamisk Programmering

Vad är dynamisk programmering?Bellmans Ekvationer Optimalitetsvillkor Policyutvärdering Policyförbättring Generaliserad Policyiteration Policyiteration Värdeiteration Utmaning: Dynamisk Programmering

4. Monte Carlo-metoder

Vad är Monte Carlo-metoder?Värdefunktionsuppskattning Monte Carlo-Kontroll Utforskningsmetoder On-Policy Monte Carlo-Kontroll Off-Policy Monte Carlo-Kontroll Inkrementella Implementationer Utmaning: Monte Carlo-metoder

5. Temporär Differensinlärning

Vad är Temporär Differensinlärning?TD(0): Värdefunktionsuppskattning SARSA: On-Policy TD-Inlärning Q-inlärning: Off-Policy TD-inlärning Generalisering av TD-inlärning Utmaning: Temporär Differensinlärning

Policyförbättring

Definition

Policysförbättring är en process för att förbättra policyn baserat på aktuella värdefunktionsuppskattningar.

Notering

Precis som vid policysutvärdering kan policysförbättring användas med både tillståndsvärdefunktion och aktionsvärdefunktion. Men för DP-metoder kommer tillståndsvärdefunktionen att användas.

Nu när du kan uppskatta tillståndsvärdefunktionen för en godtycklig policy, är ett naturligt nästa steg att undersöka om det finns några policys som är bättre än den nuvarande. Ett sätt att göra detta är att överväga att ta en annan handling $a$ i ett tillstånd $s$ , och sedan följa den nuvarande policyn. Om detta låter bekant, är det för att det liknar hur vi definierar aktionsvärdefunktionen:

q_\pi(s, a) = \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Om detta nya värde är större än det ursprungliga tillståndsvärdet $v_\pi(s)$ , indikerar det att att välja åtgärd $a$ i tillstånd $s$ och därefter fortsätta med policyn $\pi$ leder till bättre utfall än att strikt följa policyn $\pi$ . Eftersom tillstånd är oberoende är det optimalt att alltid välja åtgärd $a$ när tillstånd $s$ påträffas. Därför kan vi konstruera en förbättrad policy $\pi'$ , identisk med $\pi$ förutom att den väljer åtgärd $a$ i tillstånd $s$ , vilket skulle vara överlägset den ursprungliga policyn $\pi$ .

Sats om policyförbättring

Resonemanget som beskrivs ovan kan generaliseras som satsen om policyförbättring:

\begin{aligned} &q_\pi(s, \pi'(s)) \ge v_\pi(s) \qquad &\forall s \in S\\ \implies &v_{\pi'}(s) \ge v_\pi(s) \qquad &\forall s \in S \end{aligned}

Beviset för denna sats är relativt enkelt och kan uppnås genom en upprepad substitution:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &\le q_\pi(s, \pi'(s))\\ &= \E_{\pi'}[R_{t+1} + \gamma v_\pi(S_{t+1}) | S_t = s]\\ &\le \E_{\pi'}[R_{t+1} + \gamma q_\pi(S_{t+1}, \pi'(S_{t+1})) | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma \E_{\pi'}[R_{t+2} + \gamma v_\pi(S_{t+2})] | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 v_\pi(S_{t+2}) | S_t = s]\\ &...\\ &\le \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= v_{\pi'}(s) \end{aligned}

Förbättringsstrategi

Att uppdatera åtgärder för vissa tillstånd kan leda till förbättringar, men det är mer effektivt att uppdatera åtgärder för alla tillstånd samtidigt. Specifikt, för varje tillstånd $s$ , välj den åtgärd $a$ som maximerar åtgärdsvärdet $q_\pi(s, a)$ :

\begin{aligned} \pi'(s) &\gets \argmax_a q_\pi(s, a)\\ &\gets \argmax_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

där $\argmax$ (förkortning för argumentet för maximum) är en operator som returnerar värdet på den variabel som maximerar en given funktion.

Den resulterande giriga policyn, betecknad med $\pi'$ , uppfyller villkoren för policyförbättringssatsen genom konstruktion, vilket garanterar att $\pi'$ är minst lika bra som den ursprungliga policyn $\pi$ , och vanligtvis bättre.

Om $\pi'$ är lika bra som, men inte bättre än $\pi$ , så är både $\pi'$ och $\pi$ optimala policies, eftersom deras värdefunktioner är lika och uppfyller Bellmans optimalitetsekvation:

v_\pi(s) = \max_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 3. Kapitel 5

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal