Mens on-policy-metoder lærer ved å følge og forbedre den samme policyen, introduserer off-policy-metoder en vri: de lærer om én policy (målpolicyen) mens de følger en annen (atferdspolicyen). Denne adskillelsen er kraftfull — det gjør det mulig å evaluere eller forbedre en målpolicy uten å faktisk måtte følge den under datainnsamlingen.

Analogi

La oss gå tilbake til iskrembutikken fra forrige kapittel. Du og vennen din går inn, og igjen tilbys de tre kjente smakene: sjokolade, vanilje og jordbær. Sjokolade er din personlige favoritt, og din første impuls er å bestille den. Men denne butikken er ny for deg, og du er ikke helt sikker på om sjokolade er det rette valget. Heldigvis er vennen din en fremtredende iskremelsker som har besøkt nesten alle butikker i byen. Du spør om deres mening. "Sjokoladen her er grei," sier de, "men stol på meg — jordbæren er eksepsjonell." Så, basert på deres erfaring, bestemmer du deg for å droppe ditt vanlige valg og gå for jordbær i stedet.

Den avgjørelsen — å stole på andres erfaring for å veilede egne valg — er kjernen i off-policy-metoder. Her forsøker man å forbedre beslutningstakingen ved å bruke data samlet inn under en annen atferd. Det er fortsatt utforskning — men den styres av ekstern erfaring i stedet for egen.

Importance Sampling

Fordi agenten følger atferdspolicyen under generering av episoder, må vi ta hensyn til forskjellen mellom hva atferdspolicyen genererer og hva målpolicyen ville generert. Det er her importance sampling kommer inn.

Importance sampling gir en metode for å justere avkastningen observert under atferdspolicyen slik at de blir gyldige estimater for målpolicyen.

La oss se på en bane som starter fra en gitt tilstand $S_t$ og følger en gitt policy $\pi$ til episoden avsluttes ved tid $T$. Spesifikt observerer vi:

Hva er sannsynligheten for at denne banen oppstår under en policy $\pi$? Det avhenger både av policyens handlingssannsynligheter og miljøets overgangsdynamikk:

Anta nå at banen faktisk ble generert av en annen policy — atferdspolicyen $b$. For å bruke denne banen til å estimere forventninger under målpolicyen $\pi$, må vi ta hensyn til hvor mye mer eller mindre sannsynlig denne sekvensen av handlinger ville vært under $\pi$ sammenlignet med $b$.

Dette er hvor importance sampling-forholdet kommer inn. Det er definert som den relative sannsynligheten for banen under de to policyene:

Til slutt kanselleres overgangssannsynlighetene ut, siden begge policyene opererer i det samme miljøet, og verdien til $\rho$ avhenger kun av policyene, ikke miljøet.

Hvorfor dette er viktig

Forholdet $\rho$ forteller oss hvordan vi kan omvekte avkastningen $G_t$ observert under atferdspolicyen slik at det blir et forventningsrett estimat av hva avkastningen ville vært under målpolicyen:

Med andre ord, selv om dataene ble samlet inn ved bruk av $b$, kan vi fortsatt estimere forventet avkastning under $\pi$ — forutsatt at $b$ gir ikke-null sannsynlighet til hver handling som $\pi$ kan ta (dekningforutsetningen).

Praktiske hensyn

Varians ved importance sampling

Å inkludere importance sampling er konseptuelt enkelt. Vi justerer den estimerte aksjonsverdifunksjonen $q(s, a)$ ved å vekte hver observert retur med den tilsvarende importance sampling-ratioen. Den enkleste formuleringen ser slik ut:

hvor:

• $\rho_i(s, a)$ er importance sampling-ratioen for den $i$-te trajektorien som starter fra $(s, a)$;
• $Returns_i(s, a)$ er returen fra denne trajektorien;
• $N(s, a)$ er antall ganger $(s, a)$ har blitt besøkt.

Dette kalles ordinær importance sampling. Det gir et upartisk estimat av $q(s, a)$, men kan ha svært høy varians, spesielt når atferdspolicyen og målpolicyen er svært forskjellige.

For å redusere variansen kan vi bruke et mer stabilt alternativ: vektet importance sampling. Denne metoden normaliserer importance-vektene, noe som reduserer effekten av store ratioer og gir mer stabil læring:

I denne versjonen er telleren den samme vektede summen av returer, men nevneren er nå summen av importance-vektene, i stedet for et enkelt antall.

Dette gjør estimatet partisk, men biasen avtar etter hvert som flere utvalg samles inn. I praksis foretrekkes vektet importance sampling på grunn av betydelig lavere varians og større numerisk stabilitet.

Politikker

Som i on-policy-tilfellet, brukes $\varepsilon$-grådige politikker for både målpolitikk $\pi(a | s)$ og atferdspolitikk $b(a | s)$.

Ved første øyekast virker det naturlig å gjøre målpolitikken fullt ut grådig — til slutt er det jo en grådig politikk vi ønsker. I praksis gir dette imidlertid et stort problem: hvis det på et tidspunkt er slik at $\pi(a | s) = 0$ for handlingen som faktisk ble valgt av atferdspolitikken, blir importance sampling-forholdet $\rho$ lik null, og resten av episoden blir i praksis forkastet.

Ved å bruke en liten $\varepsilon$ (for eksempel $\varepsilon = 0.01$) i målpolitikken, sikrer vi at $\pi(a | s) > 0$ for alle handlinger, slik at $\rho$ aldri kollapser til null midt i en episode. Når treningen er ferdig, er det enkelt å konvertere den lærte $\varepsilon$‑grådige politikken til en strengt grådig politikk. Som ved on-policy-læring bør $\varepsilon$ avta i atferdspolitikken, men denne gangen er det hovedsakelig for numerisk stabilitet, siden $\rho$ fortsatt kan bli null midt i en episode på grunn av hvordan tall representeres i datamaskiner.

Pseudokode