Summary  
This chapter covers the reinforcement learning paradigm, focusing on implementing agents that learn optimal sequences of actions through trial-and-error interaction with an environment to maximize long-term rewards without relying on labeled data.

General domain of usage  
Game playing

**Koneoppiminen** koostuu kolmesta pääasiallisesta oppimisparadigmasta, joista kukin soveltuu erilaisiin ongelmatyyppeihin. **Vahvistusoppiminen** on yksi niistä, yhdessä **ohjatun oppimisen** ja **ohjaamattoman oppimisen** kanssa.

## Vahvistusoppimisen keskeiset piirteet

- **Ei tarvetta merkatulle datalle**: Vahvistusoppiminen ei vaadi ennalta määriteltyjä syöte-tulos-pareja, vaan oppii kokemuksen kautta;
- **Kokeilemalla oppiminen**: agentti tutkii erilaisia toimintoja ja kehittää strategiaansa palautteen perusteella;
- **Peräkkäiset päätökset**: Vahvistusoppiminen on suunniteltu tehtäviin, joissa nykyiset päätökset vaikuttavat tuleviin lopputuloksiin;
- **Palkkion maksimointi**: oppimisen tavoitteena on optimoida pitkän aikavälin palkkiot lyhyen aikavälin oikeellisuuden sijaan.

Ei kiinteää datasarjaa (vuorovaikuttaa ympäristön kanssa)

Oppii kokeilemalla ja erehdyksellä vuorovaikutuksessa ympäristön kanssa

Yhdistää syötteet ja tulosteet merkittyjen tietojen avulla

Palkkiot ja rangaistukset ohjaavat oppimista vuorovaikutuksen kautta

Suora palaute tunnetuista oikeista vastauksista

Ei suoraa palautetta, löytää rakenteen itsenäisesti

## Miksi vahvistusoppiminen on erilainen
Vahvistusoppimisessa on joitakin yhtäläisyyksiä muihin paradigmoihin, mutta se erottuu ainutlaatuisen oppimisprosessinsa ansiosta.
### Ohjattu oppiminen
**Ohjatussa oppimisessa** datasarja antaa selkeät ohjeet siitä, mikä on oikea tulos. **Vahvistusoppimisessa** ei ole **selkeää ohjausta**—agentin täytyy itse selvittää parhaat toiminnot kokemuksen kautta.

### Ohjaamaton oppiminen
**Ohjaamaton oppiminen** löytää **piilotettuja rakenteita** datasta ilman erityisiä tavoitteita. **Vahvistusoppiminen** oppii **vuorovaikutuksen kautta** ympäristön kanssa saavuttaakseen **selkeän tavoitteen** (esim. pelin voittaminen).

Vahvistusoppiminen (RL) on koneoppimisen tehokas osa-alue, joka keskittyy älykkäiden agenttien kouluttamiseen vuorovaikutuksessa ympäristönsä kanssa. Tällä kurssilla opit, kuinka agentit löytävät vähitellen tehokkaita toimintatapoja kokeilun ja erehdyksen kautta. Aloitat keskeisistä käsitteistä, kuten Markovin päätösprosesseista ja moniaseisista bandiiteista, ja etenet dynaamiseen ohjelmointiin, Monte Carlo -menetelmiin ja ajallisen eron oppimiseen.

Opi, kuinka agentteja koulutetaan tekemään optimaalisia päätöksiä kokeilun ja erehdyksen kautta. Tutustu vahvistusoppimisen teorian perusteisiin. Saat käytännön kokemusta Gymnasium-ympäristön asettamisesta ja suorittamisesta.

Hallitse tutkimisen ja hyödyntämisen välinen tasapaino moniaseisen bandiittiongelman avulla. Toteuta toimenpidearvon estimointi, ε-ahne, yläluottamusraja ja gradienttibandiitti -menetelmät. Arvioi algoritmien suorituskykyä simuloiduissa palkkioiden maksimointitehtävissä.

Hallitse dynaaminen ohjelmointi mallipohjaisessa RL:ssä. Opi, kuinka Bellmanin yhtälöitä voidaan käyttää politiikkojen arviointiin ja parantamiseen. Toteuta politiikka- ja arvoiterointialgoritmit. Tutustu yleistettyyn politiikkaiterointiin mallittomien menetelmien teoreettisena perustana.

Monte Carlo -menetelmien hallinta mallittomassa RL:ssä. Arvofunktioiden estimointi ja optimaalisten politiikkojen johtaminen täydellisistä episodeista. On-policy- ja off-policy-Monte Carlo -ohjausalgoritmien toteutus. Tutkimusstrategioiden löytäminen mallittoman oppimisen optimointiin.

Aikaisen eron oppimisen hallinta mallittomassa RL:ssä. Arvofunktioiden estimointi osittaisista episodeista TD(0)-päivityksiä käyttäen. On-policy SARSA- ja off-policy Q-Learning -algoritmien toteutus. Monte Carlo -menetelmien ja TD-oppimisen yhdistäminen n-askeleen TD:ssä ja TD(λ):ssa.

RL Verrattuna Muihin Oppimisparadigmoihin

Vahvistusoppimisen keskeiset piirteet

Kolmen ML-paradigman vertailu

Miksi vahvistusoppiminen on erilainen

Ohjattu oppiminen

Ohjaamaton oppiminen