Kurssisisältö

Johdatus Vahvistusoppimiseen

1. RL:n Ydinteoria

Mikä on RL?RL Verrattuna Muihin Oppimisparadigmoihin Markovin Päätösprosessi Episodit ja tuotot Malli, Politiikka ja Arvot Etsintä vs Hyödyntäminen Gymnasiumin Perusteet Haaste: Ympäristön Määrittäminen

2. Moniaseinen Bandiittiongelma

Ongelman Esittely Toimintoarvot Epsilon-Ahne Algoritmi Ylärajan Luottamusalgoritmi Gradienttinen Bandiittialgoritmi Haaste: Multi-aseiset Bandiitit

3. Dynaaminen Ohjelmointi

Mikä on dynaaminen ohjelmointi?Bellman-yhtälöt Optimaalisuusehdot Politiikan Arviointi Politiikan Parantaminen Yleistetty Politiikan Iterointi Politiikan Iterointi Arvon Iterointi Haaste: Dynaaminen Ohjelmointi

4. Monte Carlo -Menetelmät

Mitä ovat Monte Carlo -menetelmät?Arvofunktion Estimointi Monte Carlo -Ohjaus Etsintämenetelmät On-Policy Monte Carlo -Ohjaus Off-Policy Monte Carlo -ohjaus Inkrementaaliset Toteutukset Haaste: Monte Carlo -menetelmät

5. Aikaisen Eron Oppiminen

Mikä on temporaalinen erotusoppiminen?TD(0): Arvotoiminnon Estimointi SARSA: On-Policy TD -Oppiminen Q-Oppiminen: Off-Policy TD -Oppiminen TD-Oppimisen Yleistys Haaste: Ajallisen Eron Oppiminen

Q-Oppiminen: Off-Policy TD -Oppiminen

Optimaalisen politiikan oppiminen SARSA:lla voi olla haastavaa. Samoin kuin on-policy Monte Carlo -ohjauksessa, se vaatii tyypillisesti $\varepsilon$ :n asteittaista pienentämistä ajan myötä, lopulta lähestyen nollaa siirtyäkseen tutkimisesta hyödyntämiseen. Tämä prosessi on usein hidas ja saattaa vaatia paljon koulutusaikaa. Vaihtoehtona on käyttää off-policy-menetelmää, kuten Q-learning.

Määritelmä

Q-learning on off-policy TD-ohjausalgoritmi, jota käytetään optimaalisen toimintaarvofunktion $q_*(s, a)$ arvioimiseen. Se päivittää arvioitaan nykyisen parhaan toiminnon perusteella, mikä tekee siitä off-policy-algoritmin.

Päivityssääntö

Toisin kuin off-policy Monte Carlo -ohjauksessa, Q-oppiminen ei vaadi tärkeyspainotusta (importance sampling) käyttäytymis- ja tavoitepolitiikkojen erojen korjaamiseksi. Sen sijaan se perustuu suoraan päivityssääntöön, joka muistuttaa läheisesti SARSAa, mutta sisältää olennaisen eron.

Q-oppimisen päivityssääntö on:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma \max_a Q(S_{t+1}, a) - Q(S_t, A_t)\Bigr)

Ainoa ero SARSAan verrattuna on kohdearvossa. SARSA käyttää seuraavan todellisen toiminnon arvoa:

\gamma Q(S_{t+1}, A_{t+1})

Q-oppiminen käyttää parhaan mahdollisen seuraavan toiminnon arvoa:

\gamma \max_a Q(S_{t+1}, a)

Tällä hienovaraisella muutoksella on suuri vaikutus: Q-oppiminen mahdollistaa toimintojen arvioinnin optimaalisen politiikan arvion perusteella, vaikka agentti vielä tutkii ympäristöä. Tämä tekee siitä off-policy-menetelmän — se oppii ahneesta politiikasta riippumatta harjoittelun aikana valituista toimista.

Milloin käyttää Q-oppimista?

Q-oppiminen on suositeltavaa, kun:

Kyseessä ovat deterministiset ympäristöt tai ympäristöt;
Tarvitaan nopeampi konvergenssinopeus.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 5. Luku 4

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme