Yksinkertaisin TD-oppimisen versio on nimeltään TD(0). Se päivittää tilan arvon välittömän palkkion ja seuraavan tilan arvioidun arvon perusteella. Kyseessä on yksiaskelinen TD-menetelmä.

Päivityssääntö

Kun tila on $S_t$, palkkio $R_{t+1}$ ja seuraava tila $S_{t+1}$, päivityssääntö on seuraava:

missä

• $\alpha$ on oppimisnopeus eli askelkoko;
• $\delta_t = R_{t+1}+\gamma V(S_{t+1}) - V(S_t)$ on TD-virhe.

Intuitio

Tilaarvofunktio $v_\pi$ voidaan määritellä ja laajentaa seuraavasti:

Tämä antaa $\delta_t$:n ensimmäisen osan — koetun tuoton $R_{t+1} + \gamma V(S_{t+1})$. Ja $\delta_t$:n toinen osa on odotettu tuotto $V(S_t)$. TD-virhe $\delta_t$ on siis havaittavissa oleva ero sen välillä, mitä todella tapahtui ja mitä aiemmin uskottiin tapahtuvan. Päivityssääntö säätää aiempaa arviota hieman jokaisella askeleella, tuoden sen lähemmäs totuutta.

TD(0) vs Monte Carlo -estimaatio

Sekä TD(0) että Monte Carlo -estimaatio käyttävät otantakokemusta tilan arvofunktion $v_\pi(s)$ arvioimiseen politiikalle $\pi$. Vakio konvergenssiehdoilla molemmat lähestyvät todellista $v_\pi(s)$, kun käyntien määrä jokaisessa tilassa lähestyy ääretöntä. Käytännössä kuitenkin käytettävissä oleva data on rajallista, ja nämä kaksi menetelmää eroavat merkittävästi siinä, miten ne hyödyntävät dataa ja kuinka nopeasti ne oppivat.

Harha–vaihtelu -tasapaino

Harha–vaihtelu -tasapainon näkökulmasta:

Monte Carlo -arviointi odottaa jakson päättymistä ja käyttää sitten koko tuottoa arvojen päivittämiseen. Tämä tuottaa harhattomia arvioita — tuotot heijastavat todellista jakaumaa — mutta ne voivat vaihdella voimakkaasti, erityisesti pitkissä tai hyvin stokastisissa tehtävissä. Korkea vaihtelu tarkoittaa, että tarvitaan useita jaksoja, jotta kohina tasoittuu ja arvion vakaus saavutetaan.

TD(0) hyödyntää bootstrap-menetelmää yhdistämällä jokaisen yhden askeleen palkinnon seuraavan tilan nykyiseen arvoarvioon. Tämä tuo mukanaan harhaa — varhaiset päivitykset perustuvat epätäydellisiin arvioihin — mutta pitää vaihtelun pienenä, koska jokainen päivitys perustuu pieneen, inkrementaaliseen virheeseen. Alhaisempi vaihtelu mahdollistaa palkkiotiedon nopeamman leviämisen tilojen välillä, vaikka alkuharha voikin hidastaa konvergenssia.

Datan oppiminen vs Mallin oppiminen

Toinen tapa tarkastella näitä kahta menetelmää on analysoida, mitä ne todella oppivat:

Monte Carlo -arviointi oppii suoraan havaituista tuotoista, sovittaen arvoarvionsa niihin tiettyihin jaksoihin, jotka se on nähnyt. Tämä tarkoittaa, että se minimoi virheen näillä harjoitusradoilla, mutta koska se ei koskaan rakenna eksplisiittistä näkemystä siitä, miten tilat johtavat toisiinsa, se voi olla heikko yleistämään uusiin tai hieman erilaisiin tilanteisiin.

TD(0) puolestaan hyödyntää jokaista yhden askeleen siirtymää, yhdistäen välittömän palkinnon seuraavan tilan arvoarvioon. Näin se käytännössä tallentaa tilojen väliset suhteet — implisiittisen mallin ympäristön dynamiikasta. Tämä mallimainen ymmärrys mahdollistaa TD(0):lle paremman yleistämisen uusiin siirtymiin, mikä usein johtaa tarkempiin arvoarvioihin uudella datalla.

Pseudokoodi