TD(0): Arvotoiminnon Estimointi

TD-oppimisen yksinkertaisin versio on nimeltään TD(0). Se päivittää tilan arvon välittömän palkkion ja seuraavan tilan arvioidun arvon perusteella. Kyseessä on yhden askeleen TD-menetelmä.

Päivityssääntö

Kun tila on $S_t$, palkkio $R_{t+1}$ ja seuraava tila $S_{t+1}$, päivityssääntö on seuraava:

missä

• $\alpha$ on oppimisnopeus eli askelkoko;
• $\delta_t = R_{t+1}+\gamma V(S_{t+1}) - V(S_t)$ on TD-virhe.

Intuitio

Tilaarvofunktio $v_\pi$ voidaan määritellä ja laajentaa seuraavasti:

Tämä antaa $\delta_t$:n ensimmäisen osan — koetun tuoton $R_{t+1} + \gamma V(S_{t+1})$. Ja $\delta_t$:n toinen osa on odotettu tuotto $V(S_t)$. TD-virhe $\delta_t$ on siis havaittavissa oleva ero sen välillä, mitä todella tapahtui ja mitä aiemmin uskottiin tapahtuvan. Päivityssääntö säätää aiempaa arviota hieman jokaisella askeleella, tuoden sen lähemmäs totuutta.

TD(0) vs Monte Carlo -estimaatio

Sekä TD(0) että Monte Carlo -estimaatio käyttävät otantakokemusta tilan arvofunktion $v_\pi(s)$ arvioimiseen politiikalle $\pi$. Tavanomaisissa konvergenssiehdoissa molemmat lähestyvät todellista $v_\pi(s)$, kun jokaisen tilan käyntikertojen määrä lähestyy ääretöntä. Käytännössä kuitenkin käytettävissä on vain rajallinen määrä dataa, ja nämä kaksi menetelmää eroavat merkittävästi siinä, miten ne hyödyntävät tätä dataa ja kuinka nopeasti ne oppivat.

Harha-vaihtelu -tasapaino

Harha–vaihtelu-kauppasuhden näkökulmasta:

Monte Carlo -estimaatio odottaa jakson päättymistä ja käyttää sitten koko tuottoa arvojen päivittämiseen. Tämä tuottaa harhattomia estimaatteja — tuotot heijastavat todellista jakaumaa — mutta ne voivat vaihdella voimakkaasti, erityisesti pitkissä tai hyvin stokastisissa tehtävissä. Korkea vaihtelu tarkoittaa, että tarvitaan useita jaksoja kohinan tasaamiseksi ja vakaiden arvoestimaattien saamiseksi.

TD(0) käyttää bootstrap-menetelmää yhdistämällä jokaisen yhden askeleen palkinnon seuraavan tilan nykyiseen arvoestimaattiin. Tämä tuo mukanaan harhaa — varhaiset päivitykset perustuvat epätäydellisiin arvioihin — mutta pitää vaihtelun pienenä, koska jokainen päivitys perustuu pieneen, inkrementaaliseen virheeseen. Pienempi vaihtelu mahdollistaa TD(0):n levittää palkkiotietoa tilatilassa nopeammin, vaikka alkuperäinen harha voi hidastaa konvergenssia.

Datan oppiminen vs mallin oppiminen

Toinen tapa tarkastella näitä kahta menetelmää on analysoida, mitä kumpikin niistä todella oppii:

Monte Carlo -estimaatio oppii suoraan havaituista tuotoista, sovittaen arvionsa niihin tiettyihin episodeihin, jotka se on nähnyt. Tämä tarkoittaa, että se minimoi virheen näillä harjoittelupoluilla, mutta koska se ei koskaan rakenna eksplisiittistä käsitystä siitä, miten tilat johtavat toisiinsa, se voi olla heikompi yleistämään uusiin tai hieman erilaisiin tilanteisiin.

TD(0) puolestaan hyödyntää jokaisen yhden askeleen siirtymän, yhdistäen välittömän palkkion seuraavan tilan arvion kanssa. Näin se käytännössä tallentaa tilojen väliset suhteet — implisiittinen malli ympäristön dynamiikasta. Tällainen mallimainen ymmärrys mahdollistaa TD(0):lle paremman yleistämisen näkemättömiin siirtymiin, mikä usein johtaa tarkempiin arvoestimaatteihin uudella datalla.

Pseudokoodi