Tästä eteenpäin saat koodaushaasteita **Jupyter Notebook** -muodossa. Jos osaat asettaa ympäristön tällaisille muistikirjoille, voit tehdä sen halutessasi. Suosittelemme kuitenkin käyttämään **Google Colabia**, sillä se tarjoaa monia etuja tavallisiin Jupyter-muistikirjoihin verrattuna. Lue <a href="https://codefinity.com/blog/Google-Colab-Tutorial" target="_blank"><svg width="1em" height="1em" viewBox="0 0 30 32" fill="none" xmlns="http://www.w3.org/2000/svg"><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M17.289 17.305v0c-1.754 1.754-4.597 1.754-6.351 0l-7.76-7.759c-1.755-1.755-1.755-4.601 0-6.356v0c1.753-1.753 4.595-1.756 6.351-0.005l6.208 6.187"></path><path fill="none" stroke="#098f67" style="stroke: var(--color1, #098f67)" stroke-linejoin="miter" stroke-linecap="round" stroke-miterlimit="4" stroke-width="2.4156" d="M12.504 13.97v0c1.754-1.754 4.597-1.754 6.351 0l7.762 7.762c1.754 1.754 1.754 4.597 0 6.351v0c-1.754 1.754-4.597 1.754-6.351 0l-5.953-5.953"></path></svg> tämä artikkeli</a> saadaksesi lisätietoa Colabin käytöstä.

Ratkaisun oikeellisuuden tarkistaminen voi olla haastavaa, ja virheitä saattaa esiintyä. Jos olet varma, että ratkaisusi on oikea mutta se merkitään vääräksi, tarkista suositeltu ratkaisu huolellisesti. Jos et vieläkään löydä ongelmaa, kokeile toteuttaa suositeltu ratkaisu erillisessä solussa ja suorita se.


Huomio

## Kuinka avata muistikirja ja suorittaa tehtävät?

Avaa muistikirja ja suorita tehtävät seuraavasti:
1. **Lataa muistikirja**: löydät latauspainikkeen tämän sivun alareunasta;
2. **Avaa Google Colab**: siirry verkkosivulle ja kirjaudu sisään Google-tililläsi;
3. **Avaa muistikirja**: käytä `File > Upload notebook` tai `File > Open notebook > Upload` ja valitse lataamasi tiedosto. Jos haluat jatkaa tehtävien parissa tauon jälkeen, käytä `File > Open notebook > Recent` ja etsi muistikirjasi siitä ikkunasta;
4. **Noudata ohjeita**: muistikirja sisältää yksityiskohtaiset ohjeet tehtäviin. Lue ne ennen kuin jatkat tehtäviin;
5. **Vastaanota avain**: ratkaistuasi jokaisen tehtävän saat osan avaimesta, joka on tarpeen luvun suorittamiseksi. Syötä nämä osat sivun alareunassa olevaan visaan, kun olet suorittanut haasteen, varmistaaksesi että olet tehnyt kaikki tehtävät.

Vahvistusoppiminen (RL) on koneoppimisen tehokas osa-alue, joka keskittyy älykkäiden agenttien kouluttamiseen vuorovaikutuksessa ympäristönsä kanssa. Tällä kurssilla opit, kuinka agentit löytävät vähitellen tehokkaita toimintatapoja kokeilun ja erehdyksen kautta. Aloitat keskeisistä käsitteistä, kuten Markovin päätösprosesseista ja monikäsivarsisista peliautomaateista, ja etenet dynaamiseen ohjelmointiin, Monte Carlo -menetelmiin ja ajallisen eron oppimiseen.

Tässä osiossa esitellään vahvistusoppimisen keskeiset periaatteet, mukaan lukien sen määrittelevät ominaisuudet, matemaattiset perusteet sekä se, miten agentit oppivat vuorovaikutuksen ja palautteen kautta. Lisäksi tutustutaan keskeisiin työkaluihin, jotka valmistavat ensimmäisten RL-agenttien rakentamiseen ja kouluttamiseen.

Tässä osiossa tarkastellaan moniaseista bandiittiongelmaa, joka tarjoaa erinomaisen ympäristön tutkimus-hyödyntämisdilemman ymmärtämiseen. Opit algoritmeja, jotka auttavat agentteja tekemään päätöksiä epävarmuuden vallitessa, tasapainottaen palkkion maksimointia ja tutkimisen tarvetta.

Tässä osiossa esitellään dynaaminen ohjelmointi tehokkaana menetelmänä vahvistusoppimisen ongelmien ratkaisemiseksi, kun ympäristön täydellinen malli on käytettävissä. Opit arvioimaan ja parantamaan politiikkoja Bellmanin yhtälöiden avulla sekä tutustut keskeisiin tekniikoihin, kuten politiikkaiteraatioon, arvoiteraatioon ja yleistettyyn politiikkaiteraatioon — muodostaen teoreettisen perustan tuleville mallittomille menetelmille.

Tässä osiossa esitellään Monte Carlo -menetelmät arvofunktioiden ja politiikkojen oppimiseen täydellisistä kokemusepisodeista. Tutustut sekä on-policy- että off-policy-lähestymistapoihin, ymmärrät, miten eksploraatio vaikuttaa oppimiseen, ja toteutat inkrementaalisia tekniikoita tuottojen tehokkaaseen estimointiin — ilman ympäristön mallia.

Tässä osiossa esitellään aikaisen eron (TD) oppiminen, joka on vahvistusoppimisen keskeinen menetelmä ja yhdistää Monte Carlo -menetelmien ja dynaamisen ohjelmoinnin ideoita. Opit arvioimaan arvofunktioita keskeneräisistä episodeista, tutustumaan sekä on-policy (SARSA) että off-policy (Q-learning) -lähestymistapoihin sekä siihen, miten Monte Carlo -menetelmät ja TD-oppiminen voidaan yhdistää.

Haaste: Multi-aseiset Bandiitit

Kuinka avata muistikirja ja suorittaa tehtävät?

Haaste

Awesome!

Haaste: Multi-aseiset Bandiitit

Kuinka avata muistikirja ja suorittaa tehtävät?

Haaste