Summary  
This chapter covers the programming concept of modeling a Markov Decision Process by defining its core components—states, actions, transitions, and rewards—and ensuring the Markov property so that future outcomes depend only on the current state and action.  

General domain of usage  
Reinforcement learning

**Markovin päätösprosessi (MDP)** on matemaattinen viitekehys, jota käytetään **päätöksentekoon** liittyvien ongelmien mallintamiseen, joissa **agentti** on vuorovaikutuksessa **ympäristön** kanssa ajan kuluessa.


Määritelmä

**Vahvistusoppimisen** ongelmat esitetään usein **MDP:nä**, joka tarjoaa jäsennellyn tavan määritellä ongelma. **MDP:t** kuvaavat **ympäristön** käyttäen **neljää keskeistä osaa: tilat, toiminnot, siirtymät ja palkkiot**. Nämä osat toimivat yhdessä **Markovin ominaisuuden** mukaisesti, mikä varmistaa, että tuleva tila riippuu **ainoastaan** **nykyisestä tilasta ja toiminnosta**, ei aiemmista tiloista.

**Tila** $$s$$ on ympäristön esitys tietyllä ajanhetkellä. Kaikkien mahdollisten tilojen joukkoa kutsutaan **tila-avaruudeksi** $$S$$.


**Tila** kuvataan tyypillisesti joukolla parametreja, jotka **kuvaavat ympäristön olennaisia piirteitä**. Nämä **parametrit** voivat sisältää erilaisia ominaisuuksia, kuten sijainnin, nopeuden, kulman jne.

**Toiminto** $$a$$ on agentin tekemä päätös tai siirto, jolla pyritään vaikuttamaan ympäristöön. Kaikkien mahdollisten toimintojen joukkoa kutsutaan **toimintotilaksi** $$A$$.

**Mahdollisten toimintojen** joukko riippuu yleensä **nykyisestä tilasta**.

**Siirtymä** kuvaa, miten ympäristön tila **muuttuu** agentin toiminnon seurauksena. **Siirtymäfunktio** $$p$$ määrittää **todennäköisyyden** siirtyä tilasta toiseen tietyn toiminnon perusteella.

Monissa tapauksissa **ympäristöt** voivat olla joko **deterministisiä** tai **stokastisia**, eli siirtymä voi olla **ennustettavissa** tai siihen voi **liittyä satunnaisuutta**.

**Palkkio** $$r$$ on numeerinen arvo, jonka **agentti** saa suoritettuaan **toiminnon** tietyssä **tilassa**. **Funktiota**, joka liittää **siirtymät** **odotettuihin palkkioihin**, kutsutaan **palkkiofunktioksi** $$R$$.


**Palkkiot** ohjaavat agenttia kohti **toivottua käyttäytymistä**, ja ne voivat olla joko **positiivisia** tai **negatiivisia**. Palkkioiden suunnittelu on monimutkaista, sillä agentti saattaa yrittää **hyödyntää palkkioita**.

## Markovin ominaisuus
**Markovin ominaisuus** Markovin päätösprosessissa tarkoittaa, että **seuraava tila ja palkkio** riippuvat **ainoastaan** **nykyisestä tilasta ja toiminnosta**, eivät aiemmista tiedoista. Tämä takaa **muistittoman** rakenteen, mikä yksinkertaistaa oppimisprosessia.



Matemaattisesti tämä ominaisuus voidaan kuvata seuraavalla kaavalla:
$$
\begin{aligned}
&P(R_{t+1} = r, S_{t+1} = s' | S_t, A_t)=\\
=&P(R_{t+1} = r, S_{t+1} = s' | S_0, A_0, R_1,..., S_{t-1}, A_{t-1}, R_t, S_t, A_t)
\end{aligned}
$$

missä:
- $$S_t$$ on tila ajanhetkellä $$t$$;
- $$A_t$$ on toiminto ajanhetkellä $$t$$;
- $$R_t$$ on palkkio ajanhetkellä $$t$$.

MDP:n **muistittomuus** ei tarkoita, että aiemmat havainnot **jätetään huomiotta**. **Nykyisen tilan** tulee sisältää **kaikki** olennaiset historialliset tiedot.

Huomio

Kuvittele, että agentti pelaa peliä. Mikä seuraavista on hyvä esitys ympäristön tilasta MDP:ssä?

Vahvistusoppiminen (RL) on koneoppimisen tehokas osa-alue, joka keskittyy älykkäiden agenttien kouluttamiseen vuorovaikutuksessa ympäristönsä kanssa. Tällä kurssilla opit, kuinka agentit löytävät vähitellen tehokkaita toimintatapoja kokeilun ja erehdyksen kautta. Aloitat keskeisistä käsitteistä, kuten Markovin päätösprosesseista ja moniaseisista bandiiteista, ja etenet dynaamiseen ohjelmointiin, Monte Carlo -menetelmiin ja ajallisen eron oppimiseen.

Opi, kuinka agentteja koulutetaan tekemään optimaalisia päätöksiä kokeilun ja erehdyksen kautta. Tutustu vahvistusoppimisen teorian perusteisiin. Saat käytännön kokemusta Gymnasium-ympäristön asettamisesta ja suorittamisesta.

Hallitse tutkimisen ja hyödyntämisen välinen tasapaino moniaseisen bandiittiongelman avulla. Toteuta toimenpidearvon estimointi, ε-ahne, yläluottamusraja ja gradienttibandiitti -menetelmät. Arvioi algoritmien suorituskykyä simuloiduissa palkkioiden maksimointitehtävissä.

Hallitse dynaaminen ohjelmointi mallipohjaisessa RL:ssä. Opi, kuinka Bellmanin yhtälöitä voidaan käyttää politiikkojen arviointiin ja parantamiseen. Toteuta politiikka- ja arvoiterointialgoritmit. Tutustu yleistettyyn politiikkaiterointiin mallittomien menetelmien teoreettisena perustana.

Monte Carlo -menetelmien hallinta mallittomassa RL:ssä. Arvofunktioiden estimointi ja optimaalisten politiikkojen johtaminen täydellisistä episodeista. On-policy- ja off-policy-Monte Carlo -ohjausalgoritmien toteutus. Tutkimusstrategioiden löytäminen mallittoman oppimisen optimointiin.

Aikaisen eron oppimisen hallinta mallittomassa RL:ssä. Arvofunktioiden estimointi osittaisista episodeista TD(0)-päivityksiä käyttäen. On-policy SARSA- ja off-policy Q-Learning -algoritmien toteutus. Monte Carlo -menetelmien ja TD-oppimisen yhdistäminen n-askeleen TD:ssä ja TD(λ):ssa.

Markovin Päätösprosessi

Neljä osatekijää

Tila

Toiminto

Siirtymä

Palkkio

Markovin ominaisuus