Jokaisen tuoton tallentaminen jokaista tila-toimintoparia kohden voi nopeasti kuluttaa muistin loppuun ja merkittävästi lisätä laskenta-aikaa — erityisesti suurissa ympäristöissä. Tämä rajoitus koskee sekä on-policy- että off-policy-Monte Carlo -ohjausalgoritmeja. Tämän ratkaisemiseksi käytetään inkrementaalisia laskentamenetelmiä, jotka ovat samankaltaisia kuin monikätisissä bandiittialgoritmeissa. Näiden menetelmien avulla arviot voidaan päivittää välittömästi, ilman että koko tuottohistoriaa tarvitsee säilyttää.

On-policy Monte Carlo -ohjaus

On-policy-menetelmässä päivitysstrategia muistuttaa MAB-algoritmeissa käytettyä strategiaa:

missä $\displaystyle \alpha = \frac{1}{N(s, a)}$ keskiarvon estimaattia varten. Ainoat arvot, jotka täytyy tallentaa, ovat nykyiset toimintojen arviot $Q(s, a)$ ja kuinka monta kertaa tila-toimintopari $(s, a)$ on havaittu $N(s, a)$.

Pseudokoodi

Off-policy Monte Carlo -ohjaus

Off-policy-menetelmässä, jossa käytetään tavallista tärkeyspainotusta (ordinary importance sampling), kaikki on samanlaista kuin on-policy-menetelmässä.

Mielenkiintoisempi tilanne syntyy, kun käytetään painotettua tärkeyspainotusta (weighted importance sampling). Yhtälö näyttää samalta:

mutta $\displaystyle \alpha = \frac{1}{N(s, a)}$ ei voi käyttää, koska:

1. Jokainen tuotto painotetaan $\rho$:lla;
2. Lopullinen summa jaetaan ei $N(s, a)$:lla, vaan $\sum \rho(s, a)$:lla.

Tässä tapauksessa käytettävä $\alpha$ on $\displaystyle \frac{W}{C(s,a)}$, missä:

• $W$ on nykyisen trajektorian $\rho$;
• $C(s, a)$ on $\sum \rho(s, a)$.

Ja aina kun tila-toiminto-pari $(s, a)$ esiintyy, nykyisen trajektorian $\rho$ lisätään $C(s, a)$:aan:

Pseudokoodi