Summary  
Value iteration is an algorithm for solving Markov Decision Processes by merging policy evaluation and improvement into a single update: it repeatedly applies the Bellman optimality equation to the value function until it converges, then derives the optimal policy.  

General domain of usage  
Reinforcement learning

Vaikka **politiikan iterointi** on tehokas menetelmä **MDP**-ongelmien ratkaisemiseen, siinä on merkittävä haittapuoli: jokainen iterointi sisältää erillisen **politiikan arviointi** -vaiheen. Kun **politiikan arviointi** suoritetaan **iteratiivisesti**, se vaatii useita läpikäyntejä koko **tila-avaruuden** yli, mikä johtaa huomattavaan laskennalliseen kuormitukseen ja pidempiin laskenta-aikoihin.

Hyvä vaihtoehto on **arvoiterointi** (**value iteration**), menetelmä, joka yhdistää politiikan arvioinnin ja politiikan parantamisen **yhdeksi vaiheeksi**. Tässä menetelmässä arvofunktiota päivitetään suoraan, kunnes se konvergoituu **optimaaliseen arvofunktioon**. Kun konvergenssi on saavutettu, **optimaalinen politiikka** voidaan johtaa suoraan tästä optimaalisesta arvofunktiosta.

**Arvoiterointi** toimii suorittamalla vain yhden päivityksen politiikan arvioinnin aikana ennen politiikan parantamista. Tämä johtaa seuraavaan päivityskaavaan:

$$
v_{k+1}(s) \gets \max_a \sum_{s',r}p(s',r|s,a)\Bigl(r+\gamma v_k(s')\Bigr) \qquad \forall s \in S
$$

Muuntaen Bellmanin optimaalisen yhtälön päivityssäännöksi, politiikan arviointi ja politiikan parantaminen yhdistetään yhdeksi vaiheeksi.

Pseudokoodin perusteella, milloin arvoiterointi päättyy?

Vahvistusoppiminen (RL) on koneoppimisen tehokas osa-alue, joka keskittyy älykkäiden agenttien kouluttamiseen vuorovaikutuksessa ympäristönsä kanssa. Tällä kurssilla opit, kuinka agentit löytävät vähitellen tehokkaita toimintatapoja kokeilun ja erehdyksen kautta. Aloitat keskeisistä käsitteistä, kuten Markovin päätösprosesseista ja monikäsivarsisista peliautomaateista, ja etenet dynaamiseen ohjelmointiin, Monte Carlo -menetelmiin ja ajallisen eron oppimiseen.

Tässä osiossa esitellään vahvistusoppimisen keskeiset periaatteet, mukaan lukien sen määrittelevät ominaisuudet, matemaattiset perusteet sekä se, miten agentit oppivat vuorovaikutuksen ja palautteen kautta. Lisäksi tutustutaan keskeisiin työkaluihin, jotka valmistavat ensimmäisten RL-agenttien rakentamiseen ja kouluttamiseen.

Tässä osiossa tarkastellaan moniaseista bandiittiongelmaa, joka tarjoaa erinomaisen ympäristön tutkimus-hyödyntämisdilemman ymmärtämiseen. Opit algoritmeja, jotka auttavat agentteja tekemään päätöksiä epävarmuuden vallitessa, tasapainottaen palkkion maksimointia ja tutkimisen tarvetta.

Tässä osiossa esitellään dynaaminen ohjelmointi tehokkaana menetelmänä vahvistusoppimisen ongelmien ratkaisemiseksi, kun ympäristön täydellinen malli on käytettävissä. Opit arvioimaan ja parantamaan politiikkoja Bellmanin yhtälöiden avulla sekä tutustut keskeisiin tekniikoihin, kuten politiikkaiteraatioon, arvoiteraatioon ja yleistettyyn politiikkaiteraatioon — muodostaen teoreettisen perustan tuleville mallittomille menetelmille.

Tässä osiossa esitellään Monte Carlo -menetelmät arvofunktioiden ja politiikkojen oppimiseen täydellisistä kokemusepisodeista. Tutustut sekä on-policy- että off-policy-lähestymistapoihin, ymmärrät, miten eksploraatio vaikuttaa oppimiseen, ja toteutat inkrementaalisia tekniikoita tuottojen tehokkaaseen estimointiin — ilman ympäristön mallia.

Tässä osiossa esitellään aikaisen eron (TD) oppiminen, joka on vahvistusoppimisen keskeinen menetelmä ja yhdistää Monte Carlo -menetelmien ja dynaamisen ohjelmoinnin ideoita. Opit arvioimaan arvofunktioita keskeneräisistä episodeista, tutustumaan sekä on-policy (SARSA) että off-policy (Q-learning) -lähestymistapoihin sekä siihen, miten Monte Carlo -menetelmät ja TD-oppiminen voidaan yhdistää.

Arvon Iterointi

Miten se toimii?

Pseudokoodi

Awesome!

Arvon Iterointi

Miten se toimii?

Pseudokoodi