On-Policy Monte Carlo -ohjaus
Pyyhkäise näyttääksesi valikon
On-policy-menetelmien perusajatus on intuitiivinen: agentti oppii seuraamalla nykyistä politiikkaansa ja parantaa sitä kokemustensa perusteella. Löytääkseen parempia toimintoja ja välttääkseen juuttumisen epäoptimaaliseen käyttäytymiseen agentti lisää satunnaisuutta — kokeilee ajoittain vaihtoehtoisia toimintoja rohkaistakseen tutkimista.
Vertauskuva
Kuvittele olevasi jäätelökioskilla, jossa on kolme makua: suklaa, vanilja ja mansikka. Rakastat suklaata, joten valitset yleensä sen. Eräänä päivänä päätät kuitenkin uteliaisuuttasi kokeilla mansikkaa. Käy ilmi, että tämän kioskin mansikkajäätelö on uskomattoman herkullista, ja päätät valita sen aina kun vierailet tässä kioskissa.
Uuden maun kokeileminen ei välttämättä ollut loogisin valinta aiempien kokemusten perusteella, mutta se antoi mahdollisuuden löytää jotain uutta. Juuri tällainen tutkiminen on on-policy-menetelmien ytimessä.
Stokastiset politiikat
Muodollisesti tämän ajatuksen omaksuminen tarkoittaa, että deterministiset (kovat) politiikat dynaamisessa ohjelmoinnissa korvataan stokastisilla (pehmeillä) politiikoilla, joita merkitään muodossa π(a∣s), missä:
π(a∣s)>0∀s∈S,a∈A(s)Toisin sanoen jokaisella toiminnolla jokaisessa tilassa on nollasta poikkeava todennäköisyys tulla valituksi. Tämä varmistaa, että kaikki ympäristön osat voidaan lopulta tutkia, mikä on olennaista, kun opitaan kokemuksesta.
ε-ahneet politiikat
Jotta politiikkaan saadaan mukaan etsintää, hyödynnetään ε-ahneen etsinnän käsitettä monikäsivarsesta bandiittiongelmasta. Tämän avulla voidaan määritellä stokastinen politiikka, joka tasapainottaa parhaan tunnetun toiminnon hyödyntämisen ja vaihtoehtojen tutkimisen:
π(a∣s)←⎩⎨⎧1−ε+∣A(s)∣ε∣A(s)∣εjos a=a′argmaxqπ(s,a′)muulloinTämä politiikka toimii useimmiten ahneesti — valitsee toiminnon, jolla on korkein arvioitu arvo — mutta todennäköisyydellä ε se valitsee satunnaisen toiminnon, mikä varmistaa, että kaikilla toiminnoilla on nollasta poikkeava mahdollisuus tulla valituksi (myös ahne toiminto voi tulla valituksi uudelleen tasajakautuneella arvonnalla).
Aluksi tämä lähestymistapa voi vaikuttaa ongelmalliselta: koska politiikasta ei koskaan tule täysin ahnetta, se ei koskaan saavuta täsmälleen optimaalista politiikkaa. Näin ollen se ei tiukasti täytä GPI:n ehtoja, jos odotetaan täsmällistä optimaalisuutta rajalla.
Kuitenkin GPI ei vaadi, että politiikasta tulee heti optimaalinen — se vaatii vain, että jokainen politiikka paranee (tai pysyy samana) edelliseen verrattuna, edeten vähitellen kohti optimaalista. ε-ahnas politiikka täyttää tämän ehdon: se parantaa politiikkaa keskimäärin ja varmistaa jatkuvan etsinnän parempien arvioiden tueksi.
Jotta päästään lähemmäs aidosti optimaalista politiikkaa, voidaan vähentää ε:n arvoa vähitellen ajan myötä. Tämä strategia mahdollistaa politiikan muuttumisen yhä ahneemmaksi oppimisen edetessä. Alkuvaiheessa etsintä auttaa keräämään monipuolista kokemusta, kun taas myöhemmissä vaiheissa agentti hyödyntää parantunutta tietämystään. Oikein pienenevällä ε:llä menetelmä konvergoituu optimaaliseen politiikkaan rajalla.
Pseudokoodi
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
On-Policy Monte Carlo -ohjaus
On-policy-menetelmien perusajatus on intuitiivinen: agentti oppii seuraamalla nykyistä politiikkaansa ja parantaa sitä kokemustensa perusteella. Löytääkseen parempia toimintoja ja välttääkseen juuttumisen epäoptimaaliseen käyttäytymiseen agentti lisää satunnaisuutta — kokeilee ajoittain vaihtoehtoisia toimintoja rohkaistakseen tutkimista.
Vertauskuva
Kuvittele olevasi jäätelökioskilla, jossa on kolme makua: suklaa, vanilja ja mansikka. Rakastat suklaata, joten valitset yleensä sen. Eräänä päivänä päätät kuitenkin uteliaisuuttasi kokeilla mansikkaa. Käy ilmi, että tämän kioskin mansikkajäätelö on uskomattoman herkullista, ja päätät valita sen aina kun vierailet tässä kioskissa.
Uuden maun kokeileminen ei välttämättä ollut loogisin valinta aiempien kokemusten perusteella, mutta se antoi mahdollisuuden löytää jotain uutta. Juuri tällainen tutkiminen on on-policy-menetelmien ytimessä.
Stokastiset politiikat
Muodollisesti tämän ajatuksen omaksuminen tarkoittaa, että deterministiset (kovat) politiikat dynaamisessa ohjelmoinnissa korvataan stokastisilla (pehmeillä) politiikoilla, joita merkitään muodossa π(a∣s), missä:
π(a∣s)>0∀s∈S,a∈A(s)Toisin sanoen jokaisella toiminnolla jokaisessa tilassa on nollasta poikkeava todennäköisyys tulla valituksi. Tämä varmistaa, että kaikki ympäristön osat voidaan lopulta tutkia, mikä on olennaista, kun opitaan kokemuksesta.
ε-ahneet politiikat
Jotta politiikkaan saadaan mukaan etsintää, hyödynnetään ε-ahneen etsinnän käsitettä monikäsivarsesta bandiittiongelmasta. Tämän avulla voidaan määritellä stokastinen politiikka, joka tasapainottaa parhaan tunnetun toiminnon hyödyntämisen ja vaihtoehtojen tutkimisen:
π(a∣s)←⎩⎨⎧1−ε+∣A(s)∣ε∣A(s)∣εjos a=a′argmaxqπ(s,a′)muulloinTämä politiikka toimii useimmiten ahneesti — valitsee toiminnon, jolla on korkein arvioitu arvo — mutta todennäköisyydellä ε se valitsee satunnaisen toiminnon, mikä varmistaa, että kaikilla toiminnoilla on nollasta poikkeava mahdollisuus tulla valituksi (myös ahne toiminto voi tulla valituksi uudelleen tasajakautuneella arvonnalla).
Aluksi tämä lähestymistapa voi vaikuttaa ongelmalliselta: koska politiikasta ei koskaan tule täysin ahnetta, se ei koskaan saavuta täsmälleen optimaalista politiikkaa. Näin ollen se ei tiukasti täytä GPI:n ehtoja, jos odotetaan täsmällistä optimaalisuutta rajalla.
Kuitenkin GPI ei vaadi, että politiikasta tulee heti optimaalinen — se vaatii vain, että jokainen politiikka paranee (tai pysyy samana) edelliseen verrattuna, edeten vähitellen kohti optimaalista. ε-ahnas politiikka täyttää tämän ehdon: se parantaa politiikkaa keskimäärin ja varmistaa jatkuvan etsinnän parempien arvioiden tueksi.
Jotta päästään lähemmäs aidosti optimaalista politiikkaa, voidaan vähentää ε:n arvoa vähitellen ajan myötä. Tämä strategia mahdollistaa politiikan muuttumisen yhä ahneemmaksi oppimisen edetessä. Alkuvaiheessa etsintä auttaa keräämään monipuolista kokemusta, kun taas myöhemmissä vaiheissa agentti hyödyntää parantunutta tietämystään. Oikein pienenevällä ε:llä menetelmä konvergoituu optimaaliseen politiikkaan rajalla.
Pseudokoodi
Kiitos palautteestasi!
