Cursusinhoud

Introductie tot Reinforcement Learning

1. Kernprincipes van RL

Wat is RL?RL Versus Andere Leerparadigma's Markov-beslissingsproces Episodes en Opbrengsten Model, Beleid en Waarden Exploratie Versus Exploitatie Gymnasium Basisprincipes Uitdaging: Het Opzetten van een Omgeving

2. Multi-Armed Bandit Probleem

Probleemintroductie Actiewaarden Epsilon-Greedy-Algoritme Bovenste Betrouwbaarheidsgrensalgoritme Gradientbandietenalgoritme Uitdaging: Multi-Armed Bandieten

3. Dynamisch Programmeren

Wat Is Dynamisch Programmeren?Bellman-Vergelijkingen Optimaliteitsvoorwaarden Beleidswaardering Beleidverbetering Gegeneraliseerde Beleidsiteratie Beleiditeratie Waarde-Iteratie Uitdaging: Dynamisch Programmeren

4. Monte Carlo-Methoden

Wat Zijn Monte Carlo-Methoden?Waardefunctie Schatting Montecarlo-Regeling Verkenningsbenaderingen On-Policy Monte Carlo-controle Off-policy Monte Carlo-controle Incrementele Implementaties Uitdaging: Monte Carlo-Methoden

5. Temporale Verschil Leren

Wat Is Temporeel Verschil Leren?TD(0): Waardefunctieschatting SARSA: On-Policy TD-Leren Q-Learning: Off-Policy TD-Leren Generalisatie van TD-Leren Uitdaging: Temporeel Verschil Leren

Beleidverbetering

Definitie

Beleidsverbetering is een proces waarbij het beleid wordt verbeterd op basis van de huidige schattingen van de waardefunctie.

Opmerking

Net als bij beleidsevaluatie kan beleidsverbetering werken met zowel de toestandswaardefunctie als de actie-waardefunctie. Voor DP-methoden wordt echter de toestandswaardefunctie gebruikt.

Nu je de toestandswaardefunctie kunt schatten voor elk beleid, is een logische volgende stap om te onderzoeken of er beleidsvormen zijn die beter zijn dan het huidige beleid. Een manier om dit te doen, is door te overwegen een andere actie $a$ te nemen in een toestand $s$ , en vervolgens het huidige beleid te volgen. Als dit bekend voorkomt, komt dat omdat dit vergelijkbaar is met hoe de actie-waardefunctie wordt gedefinieerd:

q_\pi(s, a) = \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Als deze nieuwe waarde groter is dan de oorspronkelijke toestandswaarde $v_\pi(s)$ , duidt dit erop dat het nemen van actie $a$ in toestand $s$ en vervolgens doorgaan met beleid $\pi$ tot betere uitkomsten leidt dan strikt het volgen van beleid $\pi$ . Aangezien toestanden onafhankelijk zijn, is het optimaal om altijd actie $a$ te kiezen wanneer toestand $s$ zich voordoet. Daarom kunnen we een verbeterd beleid $\pi'$ opstellen, identiek aan $\pi$ behalve dat het actie $a$ kiest in toestand $s$ , wat superieur zou zijn aan het oorspronkelijke beleid $\pi$ .

Beleidsverbeterstelling

De hierboven beschreven redenering kan worden gegeneraliseerd als de beleidsverbeterstelling:

\begin{aligned} &q_\pi(s, \pi'(s)) \ge v_\pi(s) \qquad &\forall s \in S\\ \implies &v_{\pi'}(s) \ge v_\pi(s) \qquad &\forall s \in S \end{aligned}

Het bewijs van deze stelling is relatief eenvoudig en kan worden bereikt door een herhaalde substitutie:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &\le q_\pi(s, \pi'(s))\\ &= \E_{\pi'}[R_{t+1} + \gamma v_\pi(S_{t+1}) | S_t = s]\\ &\le \E_{\pi'}[R_{t+1} + \gamma q_\pi(S_{t+1}, \pi'(S_{t+1})) | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma \E_{\pi'}[R_{t+2} + \gamma v_\pi(S_{t+2})] | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 v_\pi(S_{t+2}) | S_t = s]\\ &...\\ &\le \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= v_{\pi'}(s) \end{aligned}

Verbeteringsstrategie

Hoewel het bijwerken van acties voor bepaalde toestanden tot verbeteringen kan leiden, is het effectiever om acties voor alle toestanden gelijktijdig bij te werken. Specifiek, kies voor elke toestand $s$ de actie $a$ die de actie-waarde $q_\pi(s, a)$ maximaliseert:

\begin{aligned} \pi'(s) &\gets \argmax_a q_\pi(s, a)\\ &\gets \argmax_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

waarbij $\argmax$ (afkorting voor argument van het maximum) een operator is die de waarde van de variabele retourneert die een gegeven functie maximaliseert.

Het resulterende greedy beleid, aangeduid als $\pi'$ , voldoet door constructie aan de voorwaarden van het policy improvement theorem, waarmee wordt gegarandeerd dat $\pi'$ minstens zo goed is als het oorspronkelijke beleid $\pi$ , en doorgaans beter.

Als $\pi'$ even goed is als, maar niet beter dan $\pi$ , dan zijn zowel $\pi'$ als $\pi$ optimale beleidsvormen, aangezien hun waarde-functies gelijk zijn en voldoen aan de Bellman optimaliteitsvergelijking:

v_\pi(s) = \max_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Was alles duidelijk?

Bedankt voor je feedback!

Sectie 3. Hoofdstuk 5

Vraag AI

Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.