Summary  
This chapter introduces the concept of return as the cumulative (and potentially discounted) sum of future rewards to guide long-term optimization, and distinguishes between episodic tasks with finite horizons and continuous tasks with infinite horizons.

General domain of usage  
Reinforcement learning

RL-**tehtävät** luokitellaan tyypillisesti **episodisiin** tai **jatkuviin** sen mukaan, miten oppimisprosessi jäsennetään ajan suhteen.

**Episodi** on täydellinen vuorovaikutusjakso agentin ja ympäristön välillä, joka alkaa **alkutilasta** ja etenee siirtymien kautta, kunnes saavutetaan **päättävä tila**.


Määritelmä

**Episodiset tehtävät** ovat tehtäviä, jotka koostuvat **rajallisesta jaksosta** tiloja, toimintoja ja palkkioita, joissa agentin vuorovaikutus ympäristön kanssa on jaettu erillisiin **episodeihin**.

Sen sijaan **jatkuvilla tehtävillä** ei ole selkeää loppua jokaiselle vuorovaikutussyklille. Agentti **jatkuvasti** vuorovaikuttaa ympäristön kanssa **ilman palautumista** alkuperäiseen tilaan, ja oppimisprosessi on käynnissä usein **ilman** selkeää päätepistettä.

Tiedät jo, että agentin päätavoitteena on maksimoida **kumulatiiviset palkkiot**. Vaikka **palkkiofunktio** antaa **välittömiä palkkioita**, se ei huomioi tulevia seurauksia, mikä voi olla **ongelmallista**. Agentti, joka on koulutettu maksimoimaan vain välittömät palkkiot, saattaa sivuuttaa **pitkän aikavälin hyödyt**. Tämän ongelman ratkaisemiseksi otetaan käyttöön käsite nimeltä **return**.

**Return** $$G$$ on agentin tietystä tilasta eteenpäin saama **kokonaiskertynyt palkkio**, joka sisältää **kaikki tulevaisuudessa saatavat palkkiot**, ei vain välittömät.


**Return** on parempi mittari sille, kuinka hyvä tietty tila tai toiminto on **pitkällä aikavälillä**. Vahvistusoppimisen **tavoite** voidaan nyt määritellä **returnin maksimoimiseksi**.

Jos $$T$$ on viimeinen aikaväli, tuoton kaava näyttää tältä:
$$
G_t = R_{t+1} + R_{t+2} + R_{t+3} + ... + R_T
$$

Vaikka **yksinkertainen tuotto** toimii hyvänä tavoitteena **episodisissa tehtävissä**, **jatkuvissa** tehtävissä ilmenee ongelma. Jos **aikavälien** määrä on **ääretön**, myös **tuotto** voi olla **ääretön**. Tämän ratkaisemiseksi käytetään **diskonttaustekijää**, joka varmistaa, että tuleville palkkioille annetaan vähemmän painoarvoa, **estää** tuoton muuttumisen **äärettömäksi**.

**Diskonttaustekijä** $$\gamma$$ on kertoluku, jota käytetään tulevien palkkioiden nykyarvon määrittämiseen. Sen arvo on välillä 0 ja 1, missä arvo lähempänä nollaa saa agentin painottamaan välittömiä palkkioita, kun taas arvo lähempänä yhtä saa agentin huomioimaan tulevat palkkiot merkittävämpinä.


**Tuotto** yhdistettynä **diskonttaustekijään** kutsutaan **diskontatuksi tuotoksi**.

Diskontatun tuoton kaava näyttää tältä:
$$
G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... = \sum_{k=0}^\infty \gamma^k R_{t+k+1}
$$

Jopa episodisissa tehtävissä **diskonttokertoimen** käyttö tarjoaa käytännön etuja: se motivoi agenttia saavuttamaan tavoitteensa **mahdollisimman nopeasti**, mikä johtaa tehokkaampaan toimintaan. Tämän vuoksi diskonttausta käytetään yleisesti myös selvästi episodisissa tilanteissa.

Opiskele lisää

Mitä diskonttokerroin $$\gamma$$ edustaa?

Vahvistusoppiminen (RL) on koneoppimisen tehokas osa-alue, joka keskittyy älykkäiden agenttien kouluttamiseen vuorovaikutuksessa ympäristönsä kanssa. Tällä kurssilla opit, kuinka agentit löytävät vähitellen tehokkaita toimintatapoja kokeilun ja erehdyksen kautta. Aloitat keskeisistä käsitteistä, kuten Markovin päätösprosesseista ja moniaseisista bandiiteista, ja etenet dynaamiseen ohjelmointiin, Monte Carlo -menetelmiin ja ajallisen eron oppimiseen.

Opi, kuinka agentteja koulutetaan tekemään optimaalisia päätöksiä kokeilun ja erehdyksen kautta. Tutustu vahvistusoppimisen teorian perusteisiin. Saat käytännön kokemusta Gymnasium-ympäristön asettamisesta ja suorittamisesta.

Hallitse tutkimisen ja hyödyntämisen välinen tasapaino moniaseisen bandiittiongelman avulla. Toteuta toimenpidearvon estimointi, ε-ahne, yläluottamusraja ja gradienttibandiitti -menetelmät. Arvioi algoritmien suorituskykyä simuloiduissa palkkioiden maksimointitehtävissä.

Hallitse dynaaminen ohjelmointi mallipohjaisessa RL:ssä. Opi, kuinka Bellmanin yhtälöitä voidaan käyttää politiikkojen arviointiin ja parantamiseen. Toteuta politiikka- ja arvoiterointialgoritmit. Tutustu yleistettyyn politiikkaiterointiin mallittomien menetelmien teoreettisena perustana.

Monte Carlo -menetelmien hallinta mallittomassa RL:ssä. Arvofunktioiden estimointi ja optimaalisten politiikkojen johtaminen täydellisistä episodeista. On-policy- ja off-policy-Monte Carlo -ohjausalgoritmien toteutus. Tutkimusstrategioiden löytäminen mallittoman oppimisen optimointiin.

Aikaisen eron oppimisen hallinta mallittomassa RL:ssä. Arvofunktioiden estimointi osittaisista episodeista TD(0)-päivityksiä käyttäen. On-policy SARSA- ja off-policy Q-Learning -algoritmien toteutus. Monte Carlo -menetelmien ja TD-oppimisen yhdistäminen n-askeleen TD:ssä ja TD(λ):ssa.

Episodit ja Palautukset

Tehtävän kesto

Tuotto

Diskonttaus