Pyyhkäise näyttääksesi valikon

Aivan kuten Monte Carlo -menetelmien kanssa, voimme käyttää yleistetyn politiikan iteroinnin (GPI) viitekehystä siirtyäksemme arvofunktioiden estimoinnista optimaalisten politiikkojen oppimiseen. Tämä prosessi tuo kuitenkin mukanaan tutun haasteen: etsinnän ja hyödyntämisen välinen tasapaino. Samoin on olemassa kaksi lähestymistapaa: on-policy ja off-policy. Tarkastellaan ensin on-policy-menetelmää — SARSA.

Määritelmä

SARSA on on-policy TD-ohjausalgoritmi, jota käytetään toimintojen arvofunktion $q_\pi(s, a)$ estimointiin. Se päivittää arvionsa todellisuudessa valitun toiminnon perusteella, mikä tekee siitä on-policy-algoritmin.

Lyhenne SARSA muodostuu viidestä päivityksessä käytettävästä keskeisestä osasta:

S: nykyinen tila $S_t$ ;
A: suoritettu toiminto $A_t$ ;
R: saatu palkkio $R_{t+1}$ ;
S: seuraava tila $S_{t+1}$ ;
A: seuraava toiminto $A_{t+1}$ .

Päivityssääntö

Päivityssääntö on samanlainen kuin TD(0), mutta tilan arvon funktion sijaan käytetään toiminnon arvon funktiota:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) - Q(S_t, A_t)\Bigr)

$A_{t+1}$ on toiminto, joka todella suoritetaan seuraavassa askeleessa, ja se valitaan nykyisen politiikan mukaisesti. Tämä tarkoittaa, että tutkimisen vaikutukset sisällytetään oppimisprosessiin.

Jokaisen toiminnon arvon funktion päivityksen jälkeen politiikka päivitetään myös, jolloin agentti voi välittömästi hyödyntää uusia arvioita.

Pseudokoodi

Milloin käyttää SARSA:a?

SARSA on suositeltava, kun:

Käsitellään ympäristöjä, joissa on paljon stokastisuutta (esim. liukkaat pinnat, epäluotettavat siirtymät);
Hitaampi konvergenssi on hyväksyttävää turvallisemman oppimiskäyttäytymisen vuoksi.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 5. Luku 3

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

SARSA: On-Policy TD -Oppiminen