On-Policy Monte Carlo -Ohjaus
On-policy-menetelmien perusajatus on intuitiivinen: agentti oppii seuraamalla nykyistä politiikkaansa ja parantaa sitä kokemustensa perusteella. Löytääkseen parempia toimintoja ja välttääkseen juuttumisen huonompiin ratkaisuihin agentti lisää satunnaisuutta — kokeilee ajoittain vaihtoehtoisia toimintoja edistääkseen tutkimista.
Vertauskuva
Kuvittele olevasi jäätelökioskilla, jossa on kolme makua: suklaa, vanilja ja mansikka. Rakastat suklaata, joten valitset sen yleensä. Eräänä päivänä päätät kuitenkin uteliaisuuttasi kokeilla mansikkaa. Käy ilmi, että tämän kioskin mansikkajäätelö on poikkeuksellisen herkullista, ja päätät valita sen aina kun vierailet kyseisessä kioskissa.
Uuden maun kokeileminen ei välttämättä ollut loogisin valinta aiempien kokemusten perusteella, mutta se antoi mahdollisuuden löytää jotain uutta. Tällainen tutkiminen on on-policy-menetelmien ytimessä.
Stokastiset politiikat
Tämän ajatuksen omaksuminen tarkoittaa muodollisesti sitä, että dynaamisessa ohjelmoinnissa käytetyt deterministiset (kovat) politiikat korvataan stokastisilla (pehmeillä) politiikoilla, jotka merkitään muodossa π(a∣s), missä:
π(a∣s)>0∀s∈S,a∈A(s)Toisin sanoen jokaisella toiminnolla jokaisessa tilassa on nollasta poikkeava todennäköisyys tulla valituksi. Tämä varmistaa, että kaikki ympäristön osat voidaan lopulta tutkia, mikä on olennaista opittaessa kokemuksesta.
ε-ahneet politiikat
Politiikkaan voidaan sisällyttää etsintää hyödyntämällä ε-ahnetta etsintää, joka on peräisin multi-armed bandit -ongelmasta. Tämän avulla voidaan määritellä stokastinen politiikka, joka tasapainottaa parhaan tunnetun toiminnon hyödyntämisen ja vaihtoehtojen tutkimisen välillä:
π(a∣s)←⎩⎨⎧1−ε+∣A(s)∣ε∣A(s)∣εjos a=a′argmaxqπ(s,a′)muulloinTämä politiikka toimii useimmiten ahneesti — valitsee toiminnon, jolla on korkein arvioitu arvo — mutta todennäköisyydellä ε se valitsee satunnaisen toiminnon, varmistaen, että kaikilla toiminnoilla on nollasta poikkeava mahdollisuus tulla valituksi (myös ahne toiminto voi tulla valituksi uudelleen tasajakautuneella arvonnalla).
Aluksi tämä lähestymistapa voi vaikuttaa ongelmalliselta: koska politiikasta ei koskaan tule täysin ahnetta, se ei koskaan konvergoi täsmälleen optimaaliseen politiikkaan. Näin ollen se ei tiukasti ottaen täytä GPI:n ehtoja, jos odotetaan täsmällistä optimaalisuutta raja-arvossa.
Kuitenkin GPI ei vaadi, että politiikasta tulee heti optimaalinen — se edellyttää vain, että jokainen politiikka paranee (tai pysyy samana) edelliseen verrattuna, edeten vähitellen kohti optimaalista ratkaisua. ε-ahnas politiikka täyttää tämän ehdon: se parantaa politiikkaa keskimäärin ja varmistaa jatkuvan etsinnän parempien arvioiden tueksi.
Jotta konvergenssi todella optimaaliseen politiikkaan olisi mahdollista, voimme vähentää vähitellen ε:n arvoa ajan myötä. Tämä strategia mahdollistaa politiikan muuttumisen yhä ahneemmaksi oppimisen edetessä. Alkuvaiheessa etsintä auttaa keräämään monipuolista kokemusta, kun taas myöhemmissä vaiheissa agentti hyödyntää parantunutta tietämystään. Oikein alenevalla ε:llä menetelmä konvergoi optimaaliseen politiikkaan raja-arvossa.
Pseudokoodi
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
Awesome!
Completion rate improved to 2.7On-Policy Monte Carlo -Ohjaus
Pyyhkäise näyttääksesi valikon
On-policy-menetelmien perusajatus on intuitiivinen: agentti oppii seuraamalla nykyistä politiikkaansa ja parantaa sitä kokemustensa perusteella. Löytääkseen parempia toimintoja ja välttääkseen juuttumisen huonompiin ratkaisuihin agentti lisää satunnaisuutta — kokeilee ajoittain vaihtoehtoisia toimintoja edistääkseen tutkimista.
Vertauskuva
Kuvittele olevasi jäätelökioskilla, jossa on kolme makua: suklaa, vanilja ja mansikka. Rakastat suklaata, joten valitset sen yleensä. Eräänä päivänä päätät kuitenkin uteliaisuuttasi kokeilla mansikkaa. Käy ilmi, että tämän kioskin mansikkajäätelö on poikkeuksellisen herkullista, ja päätät valita sen aina kun vierailet kyseisessä kioskissa.
Uuden maun kokeileminen ei välttämättä ollut loogisin valinta aiempien kokemusten perusteella, mutta se antoi mahdollisuuden löytää jotain uutta. Tällainen tutkiminen on on-policy-menetelmien ytimessä.
Stokastiset politiikat
Tämän ajatuksen omaksuminen tarkoittaa muodollisesti sitä, että dynaamisessa ohjelmoinnissa käytetyt deterministiset (kovat) politiikat korvataan stokastisilla (pehmeillä) politiikoilla, jotka merkitään muodossa π(a∣s), missä:
π(a∣s)>0∀s∈S,a∈A(s)Toisin sanoen jokaisella toiminnolla jokaisessa tilassa on nollasta poikkeava todennäköisyys tulla valituksi. Tämä varmistaa, että kaikki ympäristön osat voidaan lopulta tutkia, mikä on olennaista opittaessa kokemuksesta.
ε-ahneet politiikat
Politiikkaan voidaan sisällyttää etsintää hyödyntämällä ε-ahnetta etsintää, joka on peräisin multi-armed bandit -ongelmasta. Tämän avulla voidaan määritellä stokastinen politiikka, joka tasapainottaa parhaan tunnetun toiminnon hyödyntämisen ja vaihtoehtojen tutkimisen välillä:
π(a∣s)←⎩⎨⎧1−ε+∣A(s)∣ε∣A(s)∣εjos a=a′argmaxqπ(s,a′)muulloinTämä politiikka toimii useimmiten ahneesti — valitsee toiminnon, jolla on korkein arvioitu arvo — mutta todennäköisyydellä ε se valitsee satunnaisen toiminnon, varmistaen, että kaikilla toiminnoilla on nollasta poikkeava mahdollisuus tulla valituksi (myös ahne toiminto voi tulla valituksi uudelleen tasajakautuneella arvonnalla).
Aluksi tämä lähestymistapa voi vaikuttaa ongelmalliselta: koska politiikasta ei koskaan tule täysin ahnetta, se ei koskaan konvergoi täsmälleen optimaaliseen politiikkaan. Näin ollen se ei tiukasti ottaen täytä GPI:n ehtoja, jos odotetaan täsmällistä optimaalisuutta raja-arvossa.
Kuitenkin GPI ei vaadi, että politiikasta tulee heti optimaalinen — se edellyttää vain, että jokainen politiikka paranee (tai pysyy samana) edelliseen verrattuna, edeten vähitellen kohti optimaalista ratkaisua. ε-ahnas politiikka täyttää tämän ehdon: se parantaa politiikkaa keskimäärin ja varmistaa jatkuvan etsinnän parempien arvioiden tueksi.
Jotta konvergenssi todella optimaaliseen politiikkaan olisi mahdollista, voimme vähentää vähitellen ε:n arvoa ajan myötä. Tämä strategia mahdollistaa politiikan muuttumisen yhä ahneemmaksi oppimisen edetessä. Alkuvaiheessa etsintä auttaa keräämään monipuolista kokemusta, kun taas myöhemmissä vaiheissa agentti hyödyntää parantunutta tietämystään. Oikein alenevalla ε:llä menetelmä konvergoi optimaaliseen politiikkaan raja-arvossa.
Pseudokoodi
Kiitos palautteestasi!
