Kurssisisältö

Johdatus Vahvistusoppimiseen

1. RL:n Ydinteoria

Mikä on RL?RL Verrattuna Muihin Oppimisparadigmoihin Markovin Päätösprosessi Episodit ja tuotot Malli, Politiikka ja Arvot Etsintä vs Hyödyntäminen Gymnasiumin Perusteet Haaste: Ympäristön Määrittäminen

2. Moniaseinen Bandiittiongelma

Ongelman Esittely Toimintoarvot Epsilon-Ahne Algoritmi Ylärajan Luottamusalgoritmi Gradienttinen Bandiittialgoritmi Haaste: Multi-aseiset Bandiitit

3. Dynaaminen Ohjelmointi

Mikä on dynaaminen ohjelmointi?Bellman-yhtälöt Optimaalisuusehdot Politiikan Arviointi Politiikan Parantaminen Yleistetty Politiikan Iterointi Politiikan Iterointi Arvon Iterointi Haaste: Dynaaminen Ohjelmointi

4. Monte Carlo -Menetelmät

Mitä ovat Monte Carlo -menetelmät?Arvofunktion Estimointi Monte Carlo -Ohjaus Etsintämenetelmät On-Policy Monte Carlo -Ohjaus Off-Policy Monte Carlo -ohjaus Inkrementaaliset Toteutukset Haaste: Monte Carlo -menetelmät

5. Aikaisen Eron Oppiminen

Mikä on temporaalinen erotusoppiminen?TD(0): Arvotoiminnon Estimointi SARSA: On-Policy TD -Oppiminen Q-Oppiminen: Off-Policy TD -Oppiminen TD-Oppimisen Yleistys Haaste: Ajallisen Eron Oppiminen

Politiikan Parantaminen

Määritelmä

Politiikan parantaminen on prosessi, jossa politiikkaa kehitetään nykyisten arvofunktioestimaattien perusteella.

Huomio

Kuten politiikan arvioinnissa, politiikan parantaminen voi hyödyntää sekä tilan arvofunktiota että toiminnon arvofunktiota. Dynaamisen ohjelmoinnin menetelmissä käytetään kuitenkin tilan arvofunktiota.

Nyt kun osaat arvioida tilan arvofunktion mille tahansa politiikalle, luonnollinen seuraava askel on selvittää, löytyykö nykyistä politiikkaa parempia politiikkoja. Yksi tapa tehdä tämä on harkita eri toiminnon $a$ valitsemista tilassa $s$ ja noudattaa sen jälkeen nykyistä politiikkaa. Jos tämä kuulostaa tutulta, se johtuu siitä, että tämä muistuttaa toiminnon arvofunktion määritelmää:

q_\pi(s, a) = \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Jos tämä uusi arvo on suurempi kuin alkuperäinen tilan arvo $v_\pi(s)$ , se osoittaa, että toiminnon $a$ valitseminen tilassa $s$ ja sen jälkeen politiikan $\pi$ noudattaminen johtaa parempiin tuloksiin kuin politiikan $\pi$ tiukka seuraaminen. Koska tilat ovat riippumattomia, on optimaalista valita aina toiminto $a$ , kun tila $s$ kohdataan. Näin ollen voimme muodostaa parannetun politiikan $\pi'$ , joka on muuten identtinen politiikan $\pi$ kanssa, mutta valitsee toiminnon $a$ tilassa $s$ , mikä olisi alkuperäistä politiikkaa $\pi$ parempi.

Politiikan parantamisen lause

Yllä kuvattua päättelyä voidaan yleistää politiikan parantamisen lauseeksi:

\begin{aligned} &q_\pi(s, \pi'(s)) \ge v_\pi(s) \qquad &\forall s \in S\\ \implies &v_{\pi'}(s) \ge v_\pi(s) \qquad &\forall s \in S \end{aligned}

Tämän lauseen todistus on melko yksinkertainen ja voidaan saavuttaa toistuvalla sijoituksella:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &\le q_\pi(s, \pi'(s))\\ &= \E_{\pi'}[R_{t+1} + \gamma v_\pi(S_{t+1}) | S_t = s]\\ &\le \E_{\pi'}[R_{t+1} + \gamma q_\pi(S_{t+1}, \pi'(S_{t+1})) | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma \E_{\pi'}[R_{t+2} + \gamma v_\pi(S_{t+2})] | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 v_\pi(S_{t+2}) | S_t = s]\\ &...\\ &\le \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= v_{\pi'}(s) \end{aligned}

Parannusstrategia

Vaikka tiettyjen tilojen toimintojen päivittäminen voi johtaa parannuksiin, on tehokkaampaa päivittää toiminnot kaikille tiloille samanaikaisesti. Tarkemmin sanottuna, jokaiselle tilalle $s$ valitaan toiminto $a$ , joka maksimoi toimintojen arvon $q_\pi(s, a)$ :

\begin{aligned} \pi'(s) &\gets \argmax_a q_\pi(s, a)\\ &\gets \argmax_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

missä $\argmax$ (lyhenne sanoista argument of the maximum) on operaattori, joka palauttaa sen muuttujan arvon, jolla annettu funktio saa suurimman arvonsa.

Tuloksena syntyvä ahne politiikka (greedy policy), jota merkitään $\pi'$ , täyttää politiikan parantamisen lauseen ehdot rakenteensa ansiosta, mikä takaa, että $\pi'$ on vähintään yhtä hyvä kuin alkuperäinen politiikka $\pi$ , ja tyypillisesti parempi.

Jos $\pi'$ on yhtä hyvä, mutta ei parempi kuin $\pi$ , molemmat $\pi'$ ja $\pi$ ovat optimaalisia politiikkoja, sillä niiden arvofunktiot ovat yhtäsuuret ja ne täyttävät Bellmanin optimaalisen yhtälön:

v_\pi(s) = \max_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 3. Luku 5

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme