Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.Oppiskele Markovin Päätösprosessi | RL:n Ydinteoria
Vahvistusoppimisen Perusteet

bookMarkovin Päätösprosessi

Note
Määritelmä

Markovin päätösprosessi (MDP) on matemaattinen viitekehys, jota käytetään päätöksentekoon liittyvien ongelmien mallintamiseen, joissa agentti on vuorovaikutuksessa ympäristön kanssa ajan kuluessa.

Vahvistusoppimisen ongelmat esitetään usein MDP:nä, joka tarjoaa jäsennellyn tavan määritellä ongelma. MDP:t kuvaavat ympäristön käyttäen neljää keskeistä osaa: tilat, toiminnot, siirtymät ja palkkiot. Nämä osat toimivat yhdessä Markovin ominaisuuden mukaisesti, mikä varmistaa, että tuleva tila riippuu ainoastaan nykyisestä tilasta ja toiminnosta, ei aiemmista tiloista.

Neljä osaa

Tila

Note
Määritelmä

Tila ss on ympäristön esitys tietyllä ajanhetkellä. Kaikkien mahdollisten tilojen joukkoa kutsutaan tila-avaruudeksi SS.

Tila esitetään tyypillisesti joukolla parametreja, jotka kuvaavat ympäristön olennaisia piirteitä. Nämä parametrit voivat sisältää erilaisia ominaisuuksia, kuten sijainnin, nopeuden, kulman jne.

Toiminto

Note
Määritelmä

Toiminto aa on agentin tekemä päätös tai siirto, jolla pyritään vaikuttamaan ympäristöön. Kaikkien mahdollisten toimintojen joukkoa kutsutaan toimintotilaksi AA.

Mahdollisten toimintojen joukko riippuu yleensä nykyisestä tilasta.

Siirtymä

Note
Määritelmä

Siirtymä kuvaa, miten ympäristön tila muuttuu agentin toiminnan seurauksena. Siirtymäfunktio pp määrittää todennäköisyyden siirtyä tilasta toiseen tietyn toiminnon perusteella.

Monissa tapauksissa ympäristöt voivat olla joko deterministisiä tai stokastisia, eli siirtymä voi olla ennustettavissa tai siihen voi liittyä satunnaisuutta.

Palkkio

Note
Määritelmä

Palkkio rr on numeerinen arvo, jonka agentti saa suoritettuaan toiminnon tietyssä tilassa. Funktiota, joka yhdistää siirtymät odotettuihin palkkioihin, kutsutaan palkkiofunktioksi RR.

Palkkiot ohjaavat agenttia kohti toivottua käyttäytymistä, ja voivat olla joko positiivisia tai negatiivisia. Palkkioiden suunnittelu on monimutkaista, sillä agentti saattaa pyrkiä hyödyntämään palkkioita.

Markovin ominaisuus

Markovin ominaisuus Markovin päätösprosessissa tarkoittaa, että seuraava tila ja palkkio riippuvat ainoastaan nykyisestä tilasta ja toimenpiteestä, eivät menneistä tiedoista. Tämä takaa muistittoman rakenteen, mikä yksinkertaistaa oppimisprosessia.

Matemaattisesti tämä ominaisuus voidaan esittää seuraavalla kaavalla:

P(Rt+1=r,St+1=s′∣St,At)==P(Rt+1=r,St+1=s′∣S0,A0,R1,...,St−1,At−1,Rt,St,At)\begin{aligned} &P(R_{t+1} = r, S_{t+1} = s' | S_t, A_t)=\\ =&P(R_{t+1} = r, S_{t+1} = s' | S_0, A_0, R_1,..., S_{t-1}, A_{t-1}, R_t, S_t, A_t) \end{aligned}

missä:

  • StS_t on tila ajanhetkellä tt;
  • AtA_t on toimenpide ajanhetkellä tt;
  • RtR_t on palkkio ajanhetkellä tt.
Note
Huomio

MDP:n muistiton luonne ei tarkoita, että aiemmat havainnot jätetään huomiotta. Nykyisen tilan tulee sisältää kaikki olennaiset historialliset tiedot.

question mark

Kuvittele, että agentti pelaa peliä. Mikä seuraavista on hyvä esitys ympäristön tilasta Markovin päätösprosessissa (MDP)?

Select the correct answer

Oliko kaikki selvää?

Miten voimme parantaa sitä?

Kiitos palautteestasi!

Osio 1. Luku 3

Kysy tekoälyä

expand

Kysy tekoälyä

ChatGPT

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Suggested prompts:

Can you explain more about how the Markov property simplifies reinforcement learning?

What are some examples of states, actions, transitions, and rewards in real-world problems?

How does reward engineering impact the behavior of reinforcement learning agents?

Awesome!

Completion rate improved to 2.7

bookMarkovin Päätösprosessi

Pyyhkäise näyttääksesi valikon

Note
Määritelmä

Markovin päätösprosessi (MDP) on matemaattinen viitekehys, jota käytetään päätöksentekoon liittyvien ongelmien mallintamiseen, joissa agentti on vuorovaikutuksessa ympäristön kanssa ajan kuluessa.

Vahvistusoppimisen ongelmat esitetään usein MDP:nä, joka tarjoaa jäsennellyn tavan määritellä ongelma. MDP:t kuvaavat ympäristön käyttäen neljää keskeistä osaa: tilat, toiminnot, siirtymät ja palkkiot. Nämä osat toimivat yhdessä Markovin ominaisuuden mukaisesti, mikä varmistaa, että tuleva tila riippuu ainoastaan nykyisestä tilasta ja toiminnosta, ei aiemmista tiloista.

Neljä osaa

Tila

Note
Määritelmä

Tila ss on ympäristön esitys tietyllä ajanhetkellä. Kaikkien mahdollisten tilojen joukkoa kutsutaan tila-avaruudeksi SS.

Tila esitetään tyypillisesti joukolla parametreja, jotka kuvaavat ympäristön olennaisia piirteitä. Nämä parametrit voivat sisältää erilaisia ominaisuuksia, kuten sijainnin, nopeuden, kulman jne.

Toiminto

Note
Määritelmä

Toiminto aa on agentin tekemä päätös tai siirto, jolla pyritään vaikuttamaan ympäristöön. Kaikkien mahdollisten toimintojen joukkoa kutsutaan toimintotilaksi AA.

Mahdollisten toimintojen joukko riippuu yleensä nykyisestä tilasta.

Siirtymä

Note
Määritelmä

Siirtymä kuvaa, miten ympäristön tila muuttuu agentin toiminnan seurauksena. Siirtymäfunktio pp määrittää todennäköisyyden siirtyä tilasta toiseen tietyn toiminnon perusteella.

Monissa tapauksissa ympäristöt voivat olla joko deterministisiä tai stokastisia, eli siirtymä voi olla ennustettavissa tai siihen voi liittyä satunnaisuutta.

Palkkio

Note
Määritelmä

Palkkio rr on numeerinen arvo, jonka agentti saa suoritettuaan toiminnon tietyssä tilassa. Funktiota, joka yhdistää siirtymät odotettuihin palkkioihin, kutsutaan palkkiofunktioksi RR.

Palkkiot ohjaavat agenttia kohti toivottua käyttäytymistä, ja voivat olla joko positiivisia tai negatiivisia. Palkkioiden suunnittelu on monimutkaista, sillä agentti saattaa pyrkiä hyödyntämään palkkioita.

Markovin ominaisuus

Markovin ominaisuus Markovin päätösprosessissa tarkoittaa, että seuraava tila ja palkkio riippuvat ainoastaan nykyisestä tilasta ja toimenpiteestä, eivät menneistä tiedoista. Tämä takaa muistittoman rakenteen, mikä yksinkertaistaa oppimisprosessia.

Matemaattisesti tämä ominaisuus voidaan esittää seuraavalla kaavalla:

P(Rt+1=r,St+1=s′∣St,At)==P(Rt+1=r,St+1=s′∣S0,A0,R1,...,St−1,At−1,Rt,St,At)\begin{aligned} &P(R_{t+1} = r, S_{t+1} = s' | S_t, A_t)=\\ =&P(R_{t+1} = r, S_{t+1} = s' | S_0, A_0, R_1,..., S_{t-1}, A_{t-1}, R_t, S_t, A_t) \end{aligned}

missä:

  • StS_t on tila ajanhetkellä tt;
  • AtA_t on toimenpide ajanhetkellä tt;
  • RtR_t on palkkio ajanhetkellä tt.
Note
Huomio

MDP:n muistiton luonne ei tarkoita, että aiemmat havainnot jätetään huomiotta. Nykyisen tilan tulee sisältää kaikki olennaiset historialliset tiedot.

question mark

Kuvittele, että agentti pelaa peliä. Mikä seuraavista on hyvä esitys ympäristön tilasta Markovin päätösprosessissa (MDP)?

Select the correct answer

Oliko kaikki selvää?

Miten voimme parantaa sitä?

Kiitos palautteestasi!

Osio 1. Luku 3
some-alt