Vahvistusoppiminen (RL) on koneoppimisen tehokas osa-alue, joka keskittyy älykkäiden agenttien kouluttamiseen vuorovaikutuksessa ympäristönsä kanssa. Tällä kurssilla opit, kuinka agentit löytävät vähitellen tehokkaita toimintatapoja kokeilun ja erehdyksen kautta. Aloitat keskeisistä käsitteistä, kuten Markovin päätösprosesseista ja monikäsivarsisista peliautomaateista, ja etenet dynaamiseen ohjelmointiin, Monte Carlo -menetelmiin ja ajallisen eron oppimiseen.

Tässä osiossa esitellään vahvistusoppimisen keskeiset periaatteet, mukaan lukien sen määrittelevät ominaisuudet, matemaattiset perusteet sekä se, miten agentit oppivat vuorovaikutuksen ja palautteen kautta. Lisäksi tutustutaan keskeisiin työkaluihin, jotka valmistavat ensimmäisten RL-agenttien rakentamiseen ja kouluttamiseen.

Tässä osiossa tarkastellaan moniaseista bandiittiongelmaa, joka tarjoaa erinomaisen ympäristön tutkimus-hyödyntämisdilemman ymmärtämiseen. Opit algoritmeja, jotka auttavat agentteja tekemään päätöksiä epävarmuuden vallitessa, tasapainottaen palkkion maksimointia ja tutkimisen tarvetta.

Tässä osiossa esitellään dynaaminen ohjelmointi tehokkaana menetelmänä vahvistusoppimisen ongelmien ratkaisemiseksi, kun ympäristön täydellinen malli on käytettävissä. Opit arvioimaan ja parantamaan politiikkoja Bellmanin yhtälöiden avulla sekä tutustut keskeisiin tekniikoihin, kuten politiikkaiteraatioon, arvoiteraatioon ja yleistettyyn politiikkaiteraatioon — muodostaen teoreettisen perustan tuleville mallittomille menetelmille.

Tässä osiossa esitellään Monte Carlo -menetelmät arvofunktioiden ja politiikkojen oppimiseen täydellisistä kokemusepisodeista. Tutustut sekä on-policy- että off-policy-lähestymistapoihin, ymmärrät, miten eksploraatio vaikuttaa oppimiseen, ja toteutat inkrementaalisia tekniikoita tuottojen tehokkaaseen estimointiin — ilman ympäristön mallia.

Tässä osiossa esitellään aikaisen eron (TD) oppiminen, joka on vahvistusoppimisen keskeinen menetelmä ja yhdistää Monte Carlo -menetelmien ja dynaamisen ohjelmoinnin ideoita. Opit arvioimaan arvofunktioita keskeneräisistä episodeista, tutustumaan sekä on-policy (SARSA) että off-policy (Q-learning) -lähestymistapoihin sekä siihen, miten Monte Carlo -menetelmät ja TD-oppiminen voidaan yhdistää.

Haaste: Monte Carlo -menetelmät

Haaste

Awesome!

Haaste: Monte Carlo -menetelmät

Haaste