Kurssisisältö

Johdatus Vahvistusoppimiseen

1. RL:n Ydinteoria

Mikä on RL?RL Verrattuna Muihin Oppimisparadigmoihin Markovin Päätösprosessi Episodit ja tuotot Malli, Politiikka ja Arvot Etsintä vs Hyödyntäminen Gymnasiumin Perusteet Haaste: Ympäristön Määrittäminen

2. Moniaseinen Bandiittiongelma

Ongelman Esittely Toimintoarvot Epsilon-Ahne Algoritmi Ylärajan Luottamusalgoritmi Gradienttinen Bandiittialgoritmi Haaste: Multi-aseiset Bandiitit

3. Dynaaminen Ohjelmointi

Mikä on dynaaminen ohjelmointi?Bellman-yhtälöt Optimaalisuusehdot Politiikan Arviointi Politiikan Parantaminen Yleistetty Politiikan Iterointi Politiikan Iterointi Arvon Iterointi Haaste: Dynaaminen Ohjelmointi

4. Monte Carlo -Menetelmät

Mitä ovat Monte Carlo -menetelmät?Arvofunktion Estimointi Monte Carlo -Ohjaus Etsintämenetelmät On-Policy Monte Carlo -Ohjaus Off-Policy Monte Carlo -ohjaus Inkrementaaliset Toteutukset Haaste: Monte Carlo -menetelmät

5. Aikaisen Eron Oppiminen

Mikä on temporaalinen erotusoppiminen?TD(0): Arvotoiminnon Estimointi SARSA: On-Policy TD -Oppiminen Q-Oppiminen: Off-Policy TD -Oppiminen TD-Oppimisen Yleistys Haaste: Ajallisen Eron Oppiminen

Optimaalisuusehdot

Edellisessä luvussa opit Bellmanin yhtälöistä tilan arvo- ja tila-toimintoarvofunktioille. Nämä yhtälöt kuvaavat, kuinka tilan arvot voidaan määritellä rekursiivisesti muiden tilojen arvojen kautta, ja arvot riippuvat annetusta politiikasta. Kaikki politiikat eivät kuitenkaan ole yhtä tehokkaita. Arvofunktiot muodostavatkin politiikoille osittaisjärjestyksen, joka voidaan ilmaista seuraavasti:

\pi \ge \pi' \iff v_\pi(s) \ge v_{\pi'}(s) \qquad \forall s \in S

Politiikka $\pi$ on siis parempi tai yhtä hyvä kuin politiikka $\pi'$ , jos kaikissa mahdollisissa tiloissa politiikan $\pi$ odotettu tuotto ei ole pienempi kuin politiikan $\pi'$ odotettu tuotto.

Lisätietoa

Osittaisjärjestys noudattaa tavanomaisia järjestyssääntöjä, mutta ei pakota vertailemaan jokaista paria. Tässä tapauksessa voimme asettaa kaksi politiikkaa järjestykseen vain, jos ne tuottavat samat tulokset tai toinen selvästi ylittää toisen. Kaikissa muissa tapauksissa politiikat jäävät vertaamattomiksi.

Optimaalinen politiikka

Määritelmä

Jokaisessa MDP:ssä on olemassa vähintään yksi politiikka, joka on yhtä hyvä tai parempi kuin kaikki muut politiikat. Tätä politiikkaa kutsutaan optimaaliseksi politiikaksi $\pi_*$ . Vaikka optimaalisia politiikkoja voi olla useita, niitä kaikkia merkitään $\pi_*$ .

Miksi optimaalinen politiikka on aina olemassa?

Saatat miettiä, miksi optimaalinen politiikka aina on olemassa missä tahansa MDP:ssä. Tämä on erinomainen kysymys, ja sen taustalla oleva intuitio on yllättävän yksinkertainen. Muista, että tilat MDP:ssä kuvaavat täysin ympäristön tilan. Tämä tarkoittaa, että jokainen tila on riippumaton muista: yhdessä tilassa valittu toiminto ei vaikuta muiden tilojen palkkioihin tai saavutettaviin lopputuloksiin. Valitsemalla siis optimaalisen toiminnon jokaisessa tilassa erikseen, päädyt luonnollisesti kokonaisuudessaan parhaaseen toimintojen sarjaan koko prosessin aikana. Ja tämä optimaalisten toimintojen joukko jokaisessa tilassa muodostaa optimaalisen politiikan.

Lisäksi on aina olemassa vähintään yksi politiikka, joka on sekä optimaalinen että deterministinen. Jos jossakin tilassa $s$ kaksi toimintoa $a$ ja $a'$ tuottavat saman odotetun tuoton, yhden niistä valitseminen ei vaikuta politiikan optimaalisuuteen. Soveltamalla tätä periaatetta jokaiseen tilaan politiikasta tulee deterministinen säilyttäen samalla sen optimaalisuuden.

Optimaaliset arvotoiminnot

Optimaaliset politiikat jakavat samat arvotoimintofunktiot — tämä käy ilmi, kun tarkastellaan, miten politiikkoja verrataan. Tämä tarkoittaa, että optimaaliset politiikat jakavat sekä tilan arvotoimintofunktion että toiminnon arvotoimintofunktion.

Lisäksi optimaalisilla arvotoimintofunktioilla on omat Bellmanin yhtälönsä, jotka voidaan kirjoittaa viittaamatta mihinkään tiettyyn politiikkaan. Näitä yhtälöitä kutsutaan Bellmanin optimaalisen yhtälöiksi.

Optimaalinen tilan arvotoimintofunktio

Määritelmä

Optimaalinen tilan arvotoimintofunktio $V_*$ (tai $v_*$ ) kuvaa suurimman odotetun tuoton, joka on saavutettavissa tietyssä tilassa noudattamalla optimaalista politiikkaa.

Se voidaan määritellä matemaattisesti seuraavasti:

\def\E{\operatorname{\mathbb{E}}} v_*(s) = \max_\pi v_\pi(s) = \E_{\pi_*}[G_t | S_t = s]

Bellmanin optimaalinen yhtälö tälle arvotoiminnolle voidaan johtaa seuraavasti:

\begin{aligned} v_*(s) &= \sum_a \pi_*(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_*(s')\Bigr)\\ &= \max_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_*(s')\Bigr) \end{aligned}

Intuitio

Kuten jo tiedät, on aina olemassa vähintään yksi politiikka, joka on sekä optimaalinen että deterministinen. Tällainen politiikka valitsee jokaisessa tilassa johdonmukaisesti yhden tietyn toimenpiteen, joka maksimoi odotetun tuoton. Tämän vuoksi tämän optimaalisen toimenpiteen valitsemisen todennäköisyys on aina 1, ja minkä tahansa muun toimenpiteen todennäköisyys on 0. Tämän perusteella alkuperäinen Bellmanin yhtälö ei enää tarvitse summasymbolia. Koska tiedämme valitsevamme aina parhaan mahdollisen toimenpiteen, voimme yksinkertaisesti korvata summan ottamalla maksimin kaikista mahdollisista toimenpiteistä.

Optimaalinen toimintojen arvofunktio

Määritelmä

Optimaalinen toimintojen arvofunktio $Q_*$ (tai $q_*$ ) kuvaa suurimman odotetun tuoton, joka voidaan saavuttaa suorittamalla tietty toiminto tietyssä tilassa ja noudattamalla sen jälkeen optimaalista politiikkaa.

Se voidaan määritellä matemaattisesti seuraavasti:

\def\E{\operatorname{\mathbb{E}}} q_*(s, a) = \max_\pi q_\pi(s, a) = \E_{\pi_*}[G_t | S_t = s, A_t = a]

Bellmanin optimaalinen yhtälö tälle arvotoimintofunktiolle voidaan johtaa seuraavasti:

\begin{aligned} q_*(s, a) &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \sum_{a'} \pi_*(a' | s')q_*(s', a')\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \max_{a'} q_*(s', a')\Bigr) \end{aligned}

Intuitio

Samoin kuin tilan arvotoiminnossa, summa voidaan korvata ottamalla maksimi kaikista mahdollisista toiminnoista.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 3. Luku 3

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Kurssisisältö

Johdatus Vahvistusoppimiseen

1. RL:n Ydinteoria

2. Moniaseinen Bandiittiongelma

Ongelman Esittely Toimintoarvot Epsilon-Ahne Algoritmi Ylärajan Luottamusalgoritmi Gradienttinen Bandiittialgoritmi Haaste: Multi-aseiset Bandiitit

3. Dynaaminen Ohjelmointi

4. Monte Carlo -Menetelmät

5. Aikaisen Eron Oppiminen

Mikä on temporaalinen erotusoppiminen?TD(0): Arvotoiminnon Estimointi SARSA: On-Policy TD -Oppiminen Q-Oppiminen: Off-Policy TD -Oppiminen TD-Oppimisen Yleistys Haaste: Ajallisen Eron Oppiminen

Optimaalisuusehdot

\pi \ge \pi' \iff v_\pi(s) \ge v_{\pi'}(s) \qquad \forall s \in S

Lisätietoa

Optimaalinen politiikka

Määritelmä

Miksi optimaalinen politiikka on aina olemassa?

Optimaaliset arvotoiminnot

Optimaalinen tilan arvotoimintofunktio

Määritelmä

Optimaalinen tilan arvotoimintofunktio $V_*$ (tai $v_*$ ) kuvaa suurimman odotetun tuoton, joka on saavutettavissa tietyssä tilassa noudattamalla optimaalista politiikkaa.

Se voidaan määritellä matemaattisesti seuraavasti:

\def\E{\operatorname{\mathbb{E}}} v_*(s) = \max_\pi v_\pi(s) = \E_{\pi_*}[G_t | S_t = s]

Bellmanin optimaalinen yhtälö tälle arvotoiminnolle voidaan johtaa seuraavasti:

\begin{aligned} v_*(s) &= \sum_a \pi_*(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_*(s')\Bigr)\\ &= \max_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_*(s')\Bigr) \end{aligned}

Intuitio

Optimaalinen toimintojen arvofunktio

Määritelmä

Se voidaan määritellä matemaattisesti seuraavasti:

\def\E{\operatorname{\mathbb{E}}} q_*(s, a) = \max_\pi q_\pi(s, a) = \E_{\pi_*}[G_t | S_t = s, A_t = a]

Bellmanin optimaalinen yhtälö tälle arvotoimintofunktiolle voidaan johtaa seuraavasti:

\begin{aligned} q_*(s, a) &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \sum_{a'} \pi_*(a' | s')q_*(s', a')\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \max_{a'} q_*(s', a')\Bigr) \end{aligned}

Intuitio

Samoin kuin tilan arvotoiminnossa, summa voidaan korvata ottamalla maksimi kaikista mahdollisista toiminnoista.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 3. Luku 3