On-Policy Monte Carlo -Ohjaus
On-policy-menetelmien perusajatus on intuitiivinen: agentti oppii noudattamalla nykyistä politiikkaansa ja parantaa sitä kokemustensa perusteella. Löytääkseen parempia toimintoja ja välttääkseen juuttumisen epäoptimaaliseen käyttäytymiseen agentti sisällyttää toimintaansa satunnaisuutta — kokeillen ajoittain vaihtoehtoisia toimintoja tutkimisen edistämiseksi.
Vertauskuva
Kuvittele olevasi jäätelökaupassa, jossa on kolme makua: suklaa, vanilja ja mansikka. Rakastat suklaata, joten valitset sen yleensä. Eräänä päivänä päätät kuitenkin uteliaisuuttasi kokeilla mansikkaa. Käy ilmi, että tämän kaupan mansikkajäätelö on uskomattoman herkullista, ja päätät valita sen aina vieraillessasi tässä kaupassa.
Uuden maun kokeileminen ei välttämättä ollut loogisin valinta aiempien kokemusten perusteella, mutta se antoi mahdollisuuden löytää jotain uutta. Tällainen tutkiminen on on-policy-menetelmien ytimessä.
Stokastiset politiikat
Muodollisesti tämän ajatuksen omaksuminen tarkoittaa, että determinististen (kovien) politiikkojen sijaan, joita käytetään dynaamisessa ohjelmoinnissa, käytetään stokastisia (pehmeitä) politiikkoja, jotka merkitään muodossa π(a∣s), missä:
π(a∣s)>0∀s∈S,a∈A(s)Toisin sanoen jokaisella toiminnolla jokaisessa tilassa on nollasta poikkeava todennäköisyys tulla valituksi. Tämä varmistaa, että kaikki ympäristön osat voidaan lopulta tutkia, mikä on olennaista opittaessa kokemuksesta.
ε-ahneet politiikat
Politiikkaan sisällytetään etsintä hyödyntämällä ε-ahnetta etsintää (greedy exploration), joka on peräisin multi-armed bandit -ongelmasta. Tämän avulla voidaan määritellä stokastinen politiikka, joka tasapainottaa parhaan tunnetun toiminnon hyödyntämisen ja vaihtoehtojen tutkimisen välillä:
π(a∣s)←⎩⎨⎧1−ε+∣A(s)∣ε∣A(s)∣εjos a=a′argmaxqπ(s,a′)muulloinTämä politiikka toimii useimmiten ahneesti — valitsee toiminnon, jolla on korkein arvioitu arvo — mutta todennäköisyydellä ε se valitsee satunnaisen toiminnon, varmistaen, että kaikilla toiminnoilla on nollasta poikkeava mahdollisuus tulla valituksi (myös ahne toiminto voi tulla valituksi tasajakautuneella otannalla).
Aluksi tämä lähestymistapa vaikuttaa ongelmalliselta: koska politiikasta ei koskaan tule täysin ahnetta, se ei koskaan konvergoidu täsmälleen optimaaliseen politiikkaan. Näin ollen se ei tiukasti ottaen täytä GPI:n ehtoja, jos odotetaan täsmällistä optimaalisuutta raja-arvossa.
Kuitenkin GPI ei vaadi, että politiikasta tulee heti optimaalinen — se vaatii vain, että jokainen politiikka paranee (tai pysyy samana) edelliseen verrattuna, edeten asteittain kohti optimaalista. ε-ahnas politiikka täyttää tämän ehdon: se parantaa politiikkaa keskimäärin ja varmistaa jatkuvan etsinnän parempien arvioiden tueksi.
Jotta konvergenssi todella optimaaliseen politiikkaan olisi mahdollista, voidaan ε vähentää asteittain ajan myötä. Tämä strategia mahdollistaa politiikan muuttumisen yhä ahneemmaksi oppimisen edetessä. Alkuvaiheessa etsintä auttaa keräämään monipuolista kokemusta, kun taas myöhemmissä vaiheissa agentti hyödyntää parantunutta tietämystään. Oikein pienenevällä ε-arvolla menetelmä konvergoituu optimaaliseen politiikkaan raja-arvossa.
Pseudokoodi
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
Can you explain the difference between on-policy and off-policy methods?
How does the ε-greedy policy work in practice?
Why is it important to reduce ε over time?
Awesome!
Completion rate improved to 2.7On-Policy Monte Carlo -Ohjaus
Pyyhkäise näyttääksesi valikon
On-policy-menetelmien perusajatus on intuitiivinen: agentti oppii noudattamalla nykyistä politiikkaansa ja parantaa sitä kokemustensa perusteella. Löytääkseen parempia toimintoja ja välttääkseen juuttumisen epäoptimaaliseen käyttäytymiseen agentti sisällyttää toimintaansa satunnaisuutta — kokeillen ajoittain vaihtoehtoisia toimintoja tutkimisen edistämiseksi.
Vertauskuva
Kuvittele olevasi jäätelökaupassa, jossa on kolme makua: suklaa, vanilja ja mansikka. Rakastat suklaata, joten valitset sen yleensä. Eräänä päivänä päätät kuitenkin uteliaisuuttasi kokeilla mansikkaa. Käy ilmi, että tämän kaupan mansikkajäätelö on uskomattoman herkullista, ja päätät valita sen aina vieraillessasi tässä kaupassa.
Uuden maun kokeileminen ei välttämättä ollut loogisin valinta aiempien kokemusten perusteella, mutta se antoi mahdollisuuden löytää jotain uutta. Tällainen tutkiminen on on-policy-menetelmien ytimessä.
Stokastiset politiikat
Muodollisesti tämän ajatuksen omaksuminen tarkoittaa, että determinististen (kovien) politiikkojen sijaan, joita käytetään dynaamisessa ohjelmoinnissa, käytetään stokastisia (pehmeitä) politiikkoja, jotka merkitään muodossa π(a∣s), missä:
π(a∣s)>0∀s∈S,a∈A(s)Toisin sanoen jokaisella toiminnolla jokaisessa tilassa on nollasta poikkeava todennäköisyys tulla valituksi. Tämä varmistaa, että kaikki ympäristön osat voidaan lopulta tutkia, mikä on olennaista opittaessa kokemuksesta.
ε-ahneet politiikat
Politiikkaan sisällytetään etsintä hyödyntämällä ε-ahnetta etsintää (greedy exploration), joka on peräisin multi-armed bandit -ongelmasta. Tämän avulla voidaan määritellä stokastinen politiikka, joka tasapainottaa parhaan tunnetun toiminnon hyödyntämisen ja vaihtoehtojen tutkimisen välillä:
π(a∣s)←⎩⎨⎧1−ε+∣A(s)∣ε∣A(s)∣εjos a=a′argmaxqπ(s,a′)muulloinTämä politiikka toimii useimmiten ahneesti — valitsee toiminnon, jolla on korkein arvioitu arvo — mutta todennäköisyydellä ε se valitsee satunnaisen toiminnon, varmistaen, että kaikilla toiminnoilla on nollasta poikkeava mahdollisuus tulla valituksi (myös ahne toiminto voi tulla valituksi tasajakautuneella otannalla).
Aluksi tämä lähestymistapa vaikuttaa ongelmalliselta: koska politiikasta ei koskaan tule täysin ahnetta, se ei koskaan konvergoidu täsmälleen optimaaliseen politiikkaan. Näin ollen se ei tiukasti ottaen täytä GPI:n ehtoja, jos odotetaan täsmällistä optimaalisuutta raja-arvossa.
Kuitenkin GPI ei vaadi, että politiikasta tulee heti optimaalinen — se vaatii vain, että jokainen politiikka paranee (tai pysyy samana) edelliseen verrattuna, edeten asteittain kohti optimaalista. ε-ahnas politiikka täyttää tämän ehdon: se parantaa politiikkaa keskimäärin ja varmistaa jatkuvan etsinnän parempien arvioiden tueksi.
Jotta konvergenssi todella optimaaliseen politiikkaan olisi mahdollista, voidaan ε vähentää asteittain ajan myötä. Tämä strategia mahdollistaa politiikan muuttumisen yhä ahneemmaksi oppimisen edetessä. Alkuvaiheessa etsintä auttaa keräämään monipuolista kokemusta, kun taas myöhemmissä vaiheissa agentti hyödyntää parantunutta tietämystään. Oikein pienenevällä ε-arvolla menetelmä konvergoituu optimaaliseen politiikkaan raja-arvossa.
Pseudokoodi
Kiitos palautteestasi!
