Episodit ja tuotot
Tehtävän kesto
RL-tehtävät luokitellaan tyypillisesti episodisiin tai jatkuviin sen mukaan, miten oppimisprosessi jäsennetään ajan suhteen.
Episodi on täydellinen vuorovaikutusjakso agentin ja ympäristön välillä, joka alkaa alkutilasta ja etenee siirtymien kautta, kunnes saavutetaan päättävä tila.
Episodiset tehtävät ovat tehtäviä, jotka koostuvat rajallisesta jaksosta tiloja, toimintoja ja palkkioita, joissa agentin vuorovaikutus ympäristön kanssa on jaettu erillisiin episodeihin.
Vastaavasti jatkuvilla tehtävillä ei ole selkeää loppua jokaiselle vuorovaikutussyklille. Agentti jatkaa vuorovaikutusta ympäristön kanssa ilman palautumista alkuperäiseen tilaan, ja oppimisprosessi on jatkuvaa, usein ilman selkeää päätepistettä.
Tuotto
Tiedät jo, että agentin keskeinen tavoite on maksimoida kumulatiiviset palkkiot. Vaikka palkkiofunktio antaa välittömiä palkkioita, se ei huomioi tulevia seurauksia, mikä voi olla ongelmallista. Agentti, joka on koulutettu maksimoimaan vain välittömät palkkiot, saattaa jättää pitkän aikavälin hyödyt huomiotta. Tämän ongelman ratkaisemiseksi otetaan käyttöön käsite nimeltä tuotto.
Palautus G on agentin saama kertyneen palkkion kokonaismäärä tietystä tilasta eteenpäin, joka sisältää kaikki tulevat palkkiot, ei vain välittömiä.
Palautus kuvaa paremmin, kuinka hyvä tietty tila tai toiminto on pitkällä aikavälillä. Vahvistusoppimisen tavoitteena voidaan nyt määritellä palautuksen maksimointi.
Jos T on viimeinen aikaleima, palautuksen kaava on seuraava:
Gt=Rt+1+Rt+2+Rt+3+...+RTDiskonttaus
Vaikka yksinkertainen tuotto toimii hyvänä tavoitteena episodisissa tehtävissä, jatkuvissa tehtävissä ilmenee ongelma. Jos aika-askeleiden määrä on ääretön, tuotto voi itsessään olla ääretön. Tämän ratkaisemiseksi käytetään diskonttaustekijää, joka varmistaa, että tuleville palkkioille annetaan vähemmän painoarvoa, estää tuoton muuttumisen äärettömäksi.
Diskonttaustekijä γ on kertoluku, jota käytetään määrittämään tulevien palkkioiden nykyarvo. Sen arvo on välillä 0 ja 1, missä arvo lähempänä 0 saa agentin painottamaan välittömiä palkkioita, kun taas arvo lähempänä 1 saa agentin huomioimaan tulevat palkkiot merkittävämpinä.
Tuotto yhdistettynä diskonttokertoimeen kutsutaan diskontatuksi tuotoksi.
Diskontatun tuoton kaava näyttää tältä:
Gt=Rt+1+γRt+2+γ2Rt+3+...=k=0∑∞γkRt+k+1
Jopa episodisissa tehtävissä diskonttokertoimen käyttö tarjoaa käytännön etuja: se motivoi agenttia saavuttamaan tavoitteensa mahdollisimman nopeasti, mikä johtaa tehokkaampaan toimintaan. Tästä syystä diskonttausta käytetään yleisesti myös selvästi episodisissa tilanteissa.
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
Awesome!
Completion rate improved to 2.7Episodit ja tuotot
Pyyhkäise näyttääksesi valikon
Tehtävän kesto
RL-tehtävät luokitellaan tyypillisesti episodisiin tai jatkuviin sen mukaan, miten oppimisprosessi jäsennetään ajan suhteen.
Episodi on täydellinen vuorovaikutusjakso agentin ja ympäristön välillä, joka alkaa alkutilasta ja etenee siirtymien kautta, kunnes saavutetaan päättävä tila.
Episodiset tehtävät ovat tehtäviä, jotka koostuvat rajallisesta jaksosta tiloja, toimintoja ja palkkioita, joissa agentin vuorovaikutus ympäristön kanssa on jaettu erillisiin episodeihin.
Vastaavasti jatkuvilla tehtävillä ei ole selkeää loppua jokaiselle vuorovaikutussyklille. Agentti jatkaa vuorovaikutusta ympäristön kanssa ilman palautumista alkuperäiseen tilaan, ja oppimisprosessi on jatkuvaa, usein ilman selkeää päätepistettä.
Tuotto
Tiedät jo, että agentin keskeinen tavoite on maksimoida kumulatiiviset palkkiot. Vaikka palkkiofunktio antaa välittömiä palkkioita, se ei huomioi tulevia seurauksia, mikä voi olla ongelmallista. Agentti, joka on koulutettu maksimoimaan vain välittömät palkkiot, saattaa jättää pitkän aikavälin hyödyt huomiotta. Tämän ongelman ratkaisemiseksi otetaan käyttöön käsite nimeltä tuotto.
Palautus G on agentin saama kertyneen palkkion kokonaismäärä tietystä tilasta eteenpäin, joka sisältää kaikki tulevat palkkiot, ei vain välittömiä.
Palautus kuvaa paremmin, kuinka hyvä tietty tila tai toiminto on pitkällä aikavälillä. Vahvistusoppimisen tavoitteena voidaan nyt määritellä palautuksen maksimointi.
Jos T on viimeinen aikaleima, palautuksen kaava on seuraava:
Gt=Rt+1+Rt+2+Rt+3+...+RTDiskonttaus
Vaikka yksinkertainen tuotto toimii hyvänä tavoitteena episodisissa tehtävissä, jatkuvissa tehtävissä ilmenee ongelma. Jos aika-askeleiden määrä on ääretön, tuotto voi itsessään olla ääretön. Tämän ratkaisemiseksi käytetään diskonttaustekijää, joka varmistaa, että tuleville palkkioille annetaan vähemmän painoarvoa, estää tuoton muuttumisen äärettömäksi.
Diskonttaustekijä γ on kertoluku, jota käytetään määrittämään tulevien palkkioiden nykyarvo. Sen arvo on välillä 0 ja 1, missä arvo lähempänä 0 saa agentin painottamaan välittömiä palkkioita, kun taas arvo lähempänä 1 saa agentin huomioimaan tulevat palkkiot merkittävämpinä.
Tuotto yhdistettynä diskonttokertoimeen kutsutaan diskontatuksi tuotoksi.
Diskontatun tuoton kaava näyttää tältä:
Gt=Rt+1+γRt+2+γ2Rt+3+...=k=0∑∞γkRt+k+1Jopa episodisissa tehtävissä diskonttokertoimen käyttö tarjoaa käytännön etuja: se motivoi agenttia saavuttamaan tavoitteensa mahdollisimman nopeasti, mikä johtaa tehokkaampaan toimintaan. Tästä syystä diskonttausta käytetään yleisesti myös selvästi episodisissa tilanteissa.
Kiitos palautteestasi!
