Cursusinhoud

Introductie tot Reinforcement Learning

1. Kernprincipes van RL

Wat is RL?RL Versus Andere Leerparadigma's Markov-beslissingsproces Episodes en Opbrengsten Model, Beleid en Waarden Exploratie Versus Exploitatie Gymnasium Basisprincipes Uitdaging: Het Opzetten van een Omgeving

2. Multi-Armed Bandit Probleem

Probleemintroductie Actiewaarden Epsilon-Greedy-Algoritme Bovenste Betrouwbaarheidsgrensalgoritme Gradientbandietenalgoritme Uitdaging: Multi-Armed Bandieten

3. Dynamisch Programmeren

Wat Is Dynamisch Programmeren?Bellman-Vergelijkingen Optimaliteitsvoorwaarden Beleidswaardering Beleidverbetering Gegeneraliseerde Beleidsiteratie Beleiditeratie Waarde-Iteratie Uitdaging: Dynamisch Programmeren

4. Monte Carlo-Methoden

Wat Zijn Monte Carlo-Methoden?Waardefunctie Schatting Montecarlo-Regeling Verkenningsbenaderingen On-Policy Monte Carlo-controle Off-policy Monte Carlo-controle Incrementele Implementaties Uitdaging: Monte Carlo-Methoden

5. Temporale Verschil Leren

Wat Is Temporeel Verschil Leren?TD(0): Waardefunctieschatting SARSA: On-Policy TD-Leren Q-Learning: Off-Policy TD-Leren Generalisatie van TD-Leren Uitdaging: Temporeel Verschil Leren

Bellman-Vergelijkingen

Definitie

Een Bellman-vergelijking is een functionele vergelijking die een waardefunctie definieert in recursieve vorm.

Ter verduidelijking van de definitie:

Een functionele vergelijking is een vergelijking waarvan de oplossing een functie is. Voor de Bellman-vergelijking is deze oplossing de waardefunctie waarvoor de vergelijking is opgesteld;
Een recursieve vorm betekent dat de waarde in de huidige toestand wordt uitgedrukt in termen van waarden in toekomstige toestanden.

Kortom, het oplossen van de Bellman-vergelijking levert de gewenste waardefunctie op, en het afleiden van deze vergelijking vereist het identificeren van een recursieve relatie tussen huidige en toekomstige toestanden.

Toestandswaardefunctie

Ter herinnering, hier is een toestandswaardefunctie in compacte vorm:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s]

Om de Bellman-vergelijking voor deze waardefunctie te verkrijgen, breiden we de rechterkant van de vergelijking uit en stellen we een recursieve relatie op:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &= \E_\pi[G_t | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s]\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

De laatste vergelijking in deze reeks is een Bellman-vergelijking voor de toestandswaardefunctie.

Intuïtie

Om de waarde van een toestand $s$ te bepalen:

Overweeg alle mogelijke acties $a$ die je vanuit deze toestand kunt nemen, elk gewogen naar de kans dat je die actie kiest onder je huidige beleid $\pi(a | s)$ ;
Voor elke actie $a$ overweeg je alle mogelijke volgende toestanden $s'$ en beloningen $r$ , gewogen naar hun waarschijnlijkheid $p(s', r | s, a)$ ;
Voor elk van deze uitkomsten neem je de directe beloning $r$ die je ontvangt plus de gedisconteerde waarde van de volgende toestand $\gamma v_\pi(s')$ .

Door al deze mogelijkheden bij elkaar op te tellen, verkrijg je de totale verwachte waarde van de toestand $s$ onder je huidige beleid.

Actiewaarde-functie

Hier is een actiewaarde-functie in compacte vorm:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a]

De afleiding van de Bellman-vergelijking voor deze functie is vergelijkbaar met de vorige:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} q_\pi(s, a) &= \E_\pi[G_t | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s, A_t = a]\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') \Bigl(\E_\pi\Bigl[G_{t+1} | S_{t+1} = s', A_{t+1} = a'\Bigr]\Bigr)\Biggr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') q(s', a')\Biggr) \end{aligned}

De laatste vergelijking in deze reeks is een Bellman-vergelijking voor de actiewaarde-functie.

Intuïtie

Om de waarde van een toestand-actie-paar $(s, a)$ te bepalen:

Overweeg alle mogelijke volgende toestanden $s'$ en beloningen $r$ , gewogen naar hun waarschijnlijkheid $p(s', r | s, a)$ ;
Voor elk van deze uitkomsten neem je de directe beloning $r$ die je ontvangt plus de gedisconteerde waarde van de volgende toestand;
Om de waarde van de volgende toestand $s'$ te berekenen, vermenigvuldig je voor alle acties $a'$ mogelijk vanuit toestand $s'$ de actie-waarde $q(s', a')$ met de kans om $a'$ te kiezen in toestand $s'$ onder het huidige beleid $\pi(a' | s'$ . Tel vervolgens alles op om de uiteindelijke waarde te verkrijgen.

Door al deze mogelijkheden bij elkaar op te tellen, krijg je de totale verwachte waarde van het toestand-actie-paar $(s, a)$ onder je huidige beleid.

Was alles duidelijk?

Bedankt voor je feedback!

Sectie 3. Hoofdstuk 2

Vraag AI

Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.

Cursusinhoud

Introductie tot Reinforcement Learning

1. Kernprincipes van RL

2. Multi-Armed Bandit Probleem

Probleemintroductie Actiewaarden Epsilon-Greedy-Algoritme Bovenste Betrouwbaarheidsgrensalgoritme Gradientbandietenalgoritme Uitdaging: Multi-Armed Bandieten

3. Dynamisch Programmeren

4. Monte Carlo-Methoden

5. Temporale Verschil Leren

Wat Is Temporeel Verschil Leren?TD(0): Waardefunctieschatting SARSA: On-Policy TD-Leren Q-Learning: Off-Policy TD-Leren Generalisatie van TD-Leren Uitdaging: Temporeel Verschil Leren

Bellman-Vergelijkingen

Definitie

Een Bellman-vergelijking is een functionele vergelijking die een waardefunctie definieert in recursieve vorm.

Ter verduidelijking van de definitie:

Een functionele vergelijking is een vergelijking waarvan de oplossing een functie is. Voor de Bellman-vergelijking is deze oplossing de waardefunctie waarvoor de vergelijking is opgesteld;
Een recursieve vorm betekent dat de waarde in de huidige toestand wordt uitgedrukt in termen van waarden in toekomstige toestanden.

Toestandswaardefunctie

Ter herinnering, hier is een toestandswaardefunctie in compacte vorm:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s]

Om de Bellman-vergelijking voor deze waardefunctie te verkrijgen, breiden we de rechterkant van de vergelijking uit en stellen we een recursieve relatie op:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &= \E_\pi[G_t | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s]\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

De laatste vergelijking in deze reeks is een Bellman-vergelijking voor de toestandswaardefunctie.

Intuïtie

Om de waarde van een toestand $s$ te bepalen:

Overweeg alle mogelijke acties $a$ die je vanuit deze toestand kunt nemen, elk gewogen naar de kans dat je die actie kiest onder je huidige beleid $\pi(a | s)$ ;
Voor elke actie $a$ overweeg je alle mogelijke volgende toestanden $s'$ en beloningen $r$ , gewogen naar hun waarschijnlijkheid $p(s', r | s, a)$ ;
Voor elk van deze uitkomsten neem je de directe beloning $r$ die je ontvangt plus de gedisconteerde waarde van de volgende toestand $\gamma v_\pi(s')$ .

Door al deze mogelijkheden bij elkaar op te tellen, verkrijg je de totale verwachte waarde van de toestand $s$ onder je huidige beleid.

Actiewaarde-functie

Hier is een actiewaarde-functie in compacte vorm:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a]

De afleiding van de Bellman-vergelijking voor deze functie is vergelijkbaar met de vorige:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} q_\pi(s, a) &= \E_\pi[G_t | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s, A_t = a]\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') \Bigl(\E_\pi\Bigl[G_{t+1} | S_{t+1} = s', A_{t+1} = a'\Bigr]\Bigr)\Biggr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') q(s', a')\Biggr) \end{aligned}

De laatste vergelijking in deze reeks is een Bellman-vergelijking voor de actiewaarde-functie.

Intuïtie

Om de waarde van een toestand-actie-paar $(s, a)$ te bepalen:

Overweeg alle mogelijke volgende toestanden $s'$ en beloningen $r$ , gewogen naar hun waarschijnlijkheid $p(s', r | s, a)$ ;
Voor elk van deze uitkomsten neem je de directe beloning $r$ die je ontvangt plus de gedisconteerde waarde van de volgende toestand;
Om de waarde van de volgende toestand $s'$ te berekenen, vermenigvuldig je voor alle acties $a'$ mogelijk vanuit toestand $s'$ de actie-waarde $q(s', a')$ met de kans om $a'$ te kiezen in toestand $s'$ onder het huidige beleid $\pi(a' | s'$ . Tel vervolgens alles op om de uiteindelijke waarde te verkrijgen.

Door al deze mogelijkheden bij elkaar op te tellen, krijg je de totale verwachte waarde van het toestand-actie-paar $(s, a)$ onder je huidige beleid.

Was alles duidelijk?

Bedankt voor je feedback!

Sectie 3. Hoofdstuk 2