Kurssisisältö

Johdatus Vahvistusoppimiseen

1. RL:n Ydinteoria

Mikä on RL?RL Verrattuna Muihin Oppimisparadigmoihin Markovin Päätösprosessi Episodit ja tuotot Malli, Politiikka ja Arvot Etsintä vs Hyödyntäminen Gymnasiumin Perusteet Haaste: Ympäristön Määrittäminen

2. Moniaseinen Bandiittiongelma

Ongelman Esittely Toimintoarvot Epsilon-Ahne Algoritmi Ylärajan Luottamusalgoritmi Gradienttinen Bandiittialgoritmi Haaste: Multi-aseiset Bandiitit

3. Dynaaminen Ohjelmointi

Mikä on dynaaminen ohjelmointi?Bellman-yhtälöt Optimaalisuusehdot Politiikan Arviointi Politiikan Parantaminen Yleistetty Politiikan Iterointi Politiikan Iterointi Arvon Iterointi Haaste: Dynaaminen Ohjelmointi

4. Monte Carlo -Menetelmät

Mitä ovat Monte Carlo -menetelmät?Arvofunktion Estimointi Monte Carlo -Ohjaus Etsintämenetelmät On-Policy Monte Carlo -Ohjaus Off-Policy Monte Carlo -ohjaus Inkrementaaliset Toteutukset Haaste: Monte Carlo -menetelmät

5. Aikaisen Eron Oppiminen

Mikä on temporaalinen erotusoppiminen?TD(0): Arvotoiminnon Estimointi SARSA: On-Policy TD -Oppiminen Q-Oppiminen: Off-Policy TD -Oppiminen TD-Oppimisen Yleistys Haaste: Ajallisen Eron Oppiminen

SARSA: On-Policy TD -Oppiminen

Aivan kuten Monte Carlo -menetelmien kanssa, voimme noudattaa yleistetyn politiikan iteroinnin (GPI) viitekehystä siirtyäksemme arvotoimintojen arvioinnista optimaalisten politiikkojen oppimiseen. Tämä prosessi tuo kuitenkin mukanaan tutun haasteen: etsinnän ja hyväksikäytön välinen kompromissi. Samoin on olemassa kaksi lähestymistapaa: on-policy ja off-policy. Keskitytään ensin on-policy-menetelmään — SARSA.

Määritelmä

SARSA on on-policy TD-ohjausalgoritmi, jota käytetään toimintojen arvofunktion $q_\pi(s, a)$ arvioimiseen. Se päivittää arvionsa todellisuudessa suoritetun toiminnon perusteella, mikä tekee siitä on-policy-algoritmin.

Lyhenne SARSA muodostuu viidestä päivityksessä käytetystä keskeisestä osasta:

S: nykyinen tila $S_t$ ;
A: suoritettu toiminto $A_t$ ;
R: saatu palkkio $R_{t+1}$ ;
S: seuraava tila $S_{t+1}$ ;
A: seuraava toiminto $A_{t+1}$ .

Päivityssääntö

Päivityssääntö muistuttaa TD(0)-menetelmää, mutta tilan arvofunktion sijaan käytetään toimintojen arvofunktiota:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) - Q(S_t, A_t)\Bigr)

Tässä $A_{t+1}$ on seuraavalla askeleella todellisuudessa suoritettava toiminto, joka valitaan nykyisen politiikan mukaisesti. Tämä tarkoittaa, että tutkimisen vaikutukset sisällytetään oppimisprosessiin.

Jokaisen toimintojen arvofunktion päivityksen jälkeen politiikka päivitetään myös, jolloin agentti voi välittömästi hyödyntää uusia arvioita.

Pseudokoodi

Milloin käyttää SARSA:a?

SARSA on suositeltava, kun:

Olosuhteissa on paljon stokastisuutta (esim. liukkaat pinnat, epäluotettavat siirtymät);
Hitaampi konvergenssi on hyväksyttävää turvallisemman oppimiskäyttäytymisen vuoksi.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 5. Luku 3

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme