Summary  
This chapter explains the policy iteration algorithm, which alternates between fully evaluating a given policy’s value function and greedily improving the policy based on that value until convergence.

General domain of usage  
Reinforcement learning

**Policy iterationin** perusajatus on yksinkertainen:
1. Valitaan jokin alkuperäinen $$\pi$$ ja $$v$$;
2. Käytetään politiikan arviointia päivittämään $$v$$, kunnes se on yhdenmukainen $$\pi$$:n kanssa;
3. Käytetään politiikan parantamista päivittämään $$\pi$$, kunnes se on ahne suhteessa $$v$$:hen;
4. Toistetaan vaiheet 2-3, kunnes konvergenssi saavutetaan.

Tässä menetelmässä **ei tehdä osittaisia päivityksiä**:
- **Politiikan arvioinnin** aikana arvot päivitetään jokaiselle tilalle, kunnes ne ovat yhdenmukaisia nykyisen politiikan kanssa;
- **Politiikan parantamisen** aikana politiikka tehdään ahneeksi arvotoimintoa kohtaan.

Pseudokoodin perusteella, mikä ehto aiheuttaa policy iterationin ulomman silmukan pysähtymisen?

Vahvistusoppiminen (RL) on koneoppimisen tehokas osa-alue, joka keskittyy älykkäiden agenttien kouluttamiseen vuorovaikutuksessa ympäristönsä kanssa. Tällä kurssilla opit, kuinka agentit löytävät vähitellen tehokkaita toimintatapoja kokeilun ja erehdyksen kautta. Aloitat keskeisistä käsitteistä, kuten Markovin päätösprosesseista ja monikäsivarsisista peliautomaateista, ja etenet dynaamiseen ohjelmointiin, Monte Carlo -menetelmiin ja ajallisen eron oppimiseen.

Tässä osiossa esitellään vahvistusoppimisen keskeiset periaatteet, mukaan lukien sen määrittelevät ominaisuudet, matemaattiset perusteet sekä se, miten agentit oppivat vuorovaikutuksen ja palautteen kautta. Lisäksi tutustutaan keskeisiin työkaluihin, jotka valmistavat ensimmäisten RL-agenttien rakentamiseen ja kouluttamiseen.

Tässä osiossa tarkastellaan moniaseista bandiittiongelmaa, joka tarjoaa erinomaisen ympäristön tutkimus-hyödyntämisdilemman ymmärtämiseen. Opit algoritmeja, jotka auttavat agentteja tekemään päätöksiä epävarmuuden vallitessa, tasapainottaen palkkion maksimointia ja tutkimisen tarvetta.

Tässä osiossa esitellään dynaaminen ohjelmointi tehokkaana menetelmänä vahvistusoppimisen ongelmien ratkaisemiseksi, kun ympäristön täydellinen malli on käytettävissä. Opit arvioimaan ja parantamaan politiikkoja Bellmanin yhtälöiden avulla sekä tutustut keskeisiin tekniikoihin, kuten politiikkaiteraatioon, arvoiteraatioon ja yleistettyyn politiikkaiteraatioon — muodostaen teoreettisen perustan tuleville mallittomille menetelmille.

Tässä osiossa esitellään Monte Carlo -menetelmät arvofunktioiden ja politiikkojen oppimiseen täydellisistä kokemusepisodeista. Tutustut sekä on-policy- että off-policy-lähestymistapoihin, ymmärrät, miten eksploraatio vaikuttaa oppimiseen, ja toteutat inkrementaalisia tekniikoita tuottojen tehokkaaseen estimointiin — ilman ympäristön mallia.

Tässä osiossa esitellään aikaisen eron (TD) oppiminen, joka on vahvistusoppimisen keskeinen menetelmä ja yhdistää Monte Carlo -menetelmien ja dynaamisen ohjelmoinnin ideoita. Opit arvioimaan arvofunktioita keskeneräisistä episodeista, tutustumaan sekä on-policy (SARSA) että off-policy (Q-learning) -lähestymistapoihin sekä siihen, miten Monte Carlo -menetelmät ja TD-oppiminen voidaan yhdistää.

Politiikan Iterointi

Pseudokoodi

Awesome!

Politiikan Iterointi

Pseudokoodi