Off-Policy Monte Carlo -ohjaus

Siinä missä on-policy-menetelmät oppivat seuraamalla ja parantamalla samaa politiikkaa, off-policy-menetelmät tuovat mukanaan uuden näkökulman: ne oppivat yhdestä politiikasta (kohdepolitiikka) samalla kun ne seuraavat toista (käyttäytymispolitiikka). Tämä erottelu on tehokas — se mahdollistaa kohdepolitiikan arvioinnin tai parantamisen ilman, että sitä tarvitsee noudattaa tiedonkeruun aikana.

Vertauskuva

Palataanpa jäätelökauppaan edellisestä luvusta. Sinä ja ystäväsi astutte sisään, ja jälleen tarjolla ovat kolme tuttua makua: suklaa, vanilja ja mansikka. Suklaa on oma suosikkisi, ja ensimmäinen ajatuksesi on tilata sitä. Mutta tämä kauppa on sinulle uusi, etkä ole varma, onko suklaan valinta oikea. Onneksi ystäväsi on tunnettu jäätelön ystävä, joka on käynyt lähes kaikissa kaupungin jäätelöbaareissa. Kysyt hänen mielipidettään. "Suklaa täällä on ihan ok," hän sanoo, "mutta usko pois — mansikka on poikkeuksellisen hyvää." Joten hänen kokemuksensa perusteella päätätkin jättää tavanomaisen valintasi väliin ja valita mansikan.

Tämä päätös — luottaa jonkun toisen kokemukseen oman valinnan ohjaamisessa — on off-policy-menetelmien ydin. Pyrit parantamaan päätöksentekoasi hyödyntämällä dataa, joka on kerätty jonkun toisen käyttäytymisen perusteella. Kyseessä on edelleen tutkiminen, mutta sitä ohjaa ulkoinen kokemus oman sijaan.

Tärkeyspainotus (Importance Sampling)

Koska agentti seuraa käyttäytymispolitiikkaa jaksojen generoinnin aikana, meidän täytyy huomioida ero sen välillä, mitä käyttäytymispolitiikka tuottaa ja mitä kohdepolitiikka tuottaisi. Tässä kohtaa tärkeyspainotus (importance sampling) astuu kuvaan.

Tärkeyspainotus mahdollistaa käyttäytymispolitiikan tuottamien tuottojen säätämisen niin, että ne ovat kelvollisia arvioita kohdepolitiikalle.

Tarkastellaan polkua, joka alkaa tietyssä tilassa $S_t$ ja seuraa tiettyä politiikkaa $\pi$, kunnes episodi päättyy ajanhetkellä $T$. Erityisesti havainnoimme:

Mikä on tämän polun todennäköisyys politiikan $\pi$ alla? Se riippuu sekä politiikan toimintatodennäköisyyksistä että ympäristön siirtymädynamiikasta:

Oletetaan nyt, että polku onkin tuotettu eri politiikalla — käyttäytymispolitiikalla $b$. Jotta voimme käyttää tätä polkua odotusarvojen arvioimiseen kohdepolitiikan $\pi$ alla, meidän täytyy huomioida, kuinka paljon todennäköisempää tai epätodennäköisempää tämä toimintojen sarja olisi ollut $\pi$:n alla verrattuna $b$:hen.

Tässä kohtaa tärkeyspainosuhde tulee mukaan. Se määritellään polun suhteellisena todennäköisyytenä kahden politiikan alla:

Lopulta siirtymätodennäköisyydet kumoutuivat, koska molemmat politiikat toimivat samassa ympäristössä, ja $\rho$:n arvo riippuu vain politiikoista, ei ympäristöstä.

Miksi tämä on tärkeää

Suhdeluku $\rho$ kertoo, miten käyttäytymispolitiikan aikana havaittu tuotto $G_t$ painotetaan uudelleen, jotta siitä saadaan harhaton estimaatti siitä, millainen tuotto olisi ollut tavoitepolitiikan alla:

Toisin sanoen, vaikka data on kerätty politiikalla $b$, voimme silti arvioida odotetut tuotot politiikalla $\pi$ — edellyttäen, että $b$ antaa nollasta poikkeavan todennäköisyyden kaikille niille toimille, joita $\pi$ voi valita (katavuusoletus).

Käytännön näkökulmia

Tärkeyspainotuksen varianssi

Tärkeyspainotuksen (importance sampling) sisällyttäminen on käsitteellisesti suoraviivaista. Arvioitua toimintojen arvofunktiota $q(s, a)$ säädetään painottamalla jokaista havaittua tuottoa vastaavalla tärkeyspainotuksen suhteella. Yksinkertaisin muotoilu näyttää tältä:

missä:

• $\rho_i(s, a)$ on tärkeyspainotuksen suhde $i$:nnessä trajektoriassa alkaen tilasta $(s, a)$;
• $Returns_i(s, a)$ on kyseisen trajektorian tuotto;
• $N(s, a)$ on tilan $(s, a)$ vierailukertojen määrä.

Tätä kutsutaan tavalliseksi tärkeyspainotukseksi (ordinary importance sampling). Se antaa harhattoman arvion $q(s, a)$:sta, mutta voi kärsiä hyvin suuresta varianssista, erityisesti kun käyttäytymis- ja kohdepolitiikat eroavat merkittävästi toisistaan.

Varianssiongelman lieventämiseksi voidaan käyttää vakaampaa vaihtoehtoa: painotettu tärkeyspainotus (weighted importance sampling). Tässä menetelmässä tärkeyspainot normalisoidaan, mikä vähentää suurten suhteiden vaikutusta ja johtaa vakaampaan oppimiseen:

Tässä versiossa osoittaja on sama painotettu tuottojen summa, mutta nimittäjä on nyt tärkeyspainojen summa yksinkertaisen laskennan sijaan.

Tämä tekee arviosta harhaisen, mutta harha pienenee näytteiden määrän kasvaessa. Käytännössä painotettu tärkeyspainotus on suositeltu sen huomattavasti pienemmän varianssin ja paremman numeerisen vakauden vuoksi.

Politiikat

Kuten on-policy-tapauksessa, käytetään $\varepsilon$-ahneita politiikkoja sekä kohdepolitiikalle $\pi(a | s)$ että käyttäytymispolitiikalle $b(a | s)$.

Aluksi saattaa tuntua luonnolliselta tehdä kohdepolitiikasta täysin ahne — onhan lopullinen tavoitteemme ahne politiikka. Käytännössä tämä kuitenkin aiheuttaa merkittävän ongelman: jos jossain vaiheessa $\pi(a | s) = 0$ toiminnolle, jonka käyttäytymispolitiikka todella valitsi, tärkeydenotannan suhde $\rho$ muuttuu nollaksi ja jakson loppuosa jätetään käytännössä huomiotta.

Käyttämällä pientä $\varepsilon$-arvoa (esim. $\varepsilon = 0{,}01$) kohdepolitiikassa varmistetaan, että $\pi(a | s) > 0$ kaikille toiminnoille, joten $\rho$ ei koskaan romahda nollaan kesken jakson. Kun koulutus on valmis, opittu $\varepsilon$-ahne politiikka voidaan helposti muuntaa täysin ahneeksi. Kuten on-policy-oppimisessa, käyttäytymispolitiikassa tulisi käyttää laskevaa $\varepsilon$-arvoa, mutta tällä kertaa pääasiassa numeerisen vakauden vuoksi, sillä $\rho$ voi silti pudota nollaan kesken jakson, johtuen siitä, miten luvut esitetään tietokoneissa.

Pseudokoodi