Både dynamisk programmering og Monte Carlo-metoder har noen gode ideer og noen betydelige ulemper.

Dynamisk programmering

Dynamisk programmering har en metode for effektivt å beregne tilstandsverdifunksjonen og utlede en optimal policy fra denne. Den benytter bootstrapping — beregning av nåværende tilstands verdi basert på fremtidige tilstanders verdier — for å oppnå dette.

Selv om ideen om bootstrapping er kraftfull, har selve dynamisk programmering to store ulemper:

• Den krever en fullstendig og eksplisitt modell av miljøet;
• Tilstandsverdier beregnes for hver tilstand, selv om tilstanden ikke er i nærheten av den optimale banen.

Monte Carlo-metoder

Monte Carlo-metoder løser de to ulempene ved dynamisk programmering:

• De krever ikke en modell, siden de lærer av erfaring;
• Måten de lærer av erfaring på gjør at utforskningen blir mer begrenset, slik at ikke-viktige tilstander sjelden besøkes.

Men de introduserer en ny ulempe — læringsprosessen skjer kun etter at episoden er avsluttet. Dette begrenser anvendeligheten av Monte Carlo-metoder til små episodiske oppgaver, ettersom større oppgaver vil kreve et absurd stort antall handlinger før episoden avsluttes.

Temporal Difference-læring

Som et resultat løser TD-læring de største utfordringene de to metodene har:

• Læring fra erfaring adresserer behovet for en modell og utfordringen med store tilstandsrom;
• Bootstrapping adresserer utfordringen med episodisk læring.

Hvordan fungerer det?

TD-læring fungerer gjennom en enkel sløyfe:

1. Estimer verdien: agenten starter med et innledende anslag på hvor god den nåværende tilstanden er;
2. Utfør en handling: den utfører en handling, mottar en belønning og havner i en ny tilstand;
3. Oppdater anslaget: ved å bruke belønningen og verdien til den nye tilstanden, justerer agenten sitt opprinnelige anslag litt for å gjøre det mer nøyaktig;
4. Gjenta: over tid, ved å gjenta denne sløyfen, bygger agenten gradvis bedre og mer nøyaktige verdianslag for ulike tilstander.

Sammenligningstabell