Medan on-policy-metoder lär sig genom att följa och förbättra samma policy, introducerar off-policy-metoder en variation: de lär sig om en policy (målpolicyn) samtidigt som de följer en annan (beteendepolicyn). Denna uppdelning är kraftfull — det gör det möjligt att utvärdera eller förbättra en målpolicy utan att faktiskt behöva följa den under datainsamlingen.

Analogi

Låt oss återvända till glassbutiken från föregående kapitel. Du och din vän går in, och återigen erbjuds de tre välbekanta smakerna: choklad, vanilj och jordgubb. Choklad är din personliga favorit, och din första instinkt är att beställa den. Men denna butik är ny för dig, och du är inte helt säker på om choklad är rätt val. Som tur är har din vän besökt nästan alla glassbutiker i staden och är en framstående glassälskare. Du frågar om deras åsikt. "Chokladen här är okej," säger de, "men lita på mig — jordgubben är exceptionell." Så, baserat på deras erfarenhet, bestämmer du dig för att hoppa över ditt vanliga val och istället välja jordgubb.

Det beslutet — att förlita sig på någon annans erfarenhet för att vägleda sitt eget val — är kärnan i off-policy-metoder. Du försöker förbättra ditt beslutsfattande med data som samlats in under någon annans beteende. Det är fortfarande utforskning — men det styrs av extern erfarenhet snarare än din egen.

Viktighetsprovtagning

Eftersom agenten följer beteendepolicyn under episodgenerering måste vi ta hänsyn till skillnaden mellan vad beteendepolicyn genererar och vad målpolicyn skulle generera. Det är här viktighetsprovtagning kommer in.

Viktad stickprovsdragning (importance sampling) möjliggör justering av de utfall som observeras under beteendepolicyn så att de utgör giltiga skattningar för målpolicyn.

Låt oss betrakta en sekvens som börjar från ett visst tillstånd $S_t$ och följer en viss policy $\pi$ tills episoden avslutas vid tidpunkt $T$. Specifikt observerar vi:

Vad är sannolikheten att denna sekvens inträffar under en policy $\pi$? Det beror på både policyns sannolikheter för handlingar och miljöns övergångsdynamik:

Antag nu att sekvensen faktiskt genererades av en annan policy — beteendepolicyn $b$. För att korrekt använda denna sekvens för att skatta förväntningar under målpolicyn $\pi$ måste vi ta hänsyn till hur mycket mer eller mindre sannolik denna följd av handlingar hade varit under $\pi$ jämfört med $b$.

Här introduceras importance sampling-kvoten. Den definieras som den relativa sannolikheten för sekvensen under de två policyerna:

I slutändan försvann övergångssannolikheterna, eftersom båda policyerna verkar i samma miljö, och värdet på $\rho$ beror endast på policyerna, inte på miljön.

Varför detta är viktigt

Kvoten $\rho$ anger hur vi ska omviktas utfall $G_t$ som observerats under beteendepolicyn så att det blir en snedfri skattning av vad utfallet skulle ha varit under målpolicyn:

Med andra ord, även om data samlades in med $b$, kan vi ändå skatta förväntade utfall under $\pi$ — förutsatt att $b$ ger icke-noll sannolikhet till varje handling som $\pi$ kan välja (täkningsantagandet).

Praktiska överväganden

Varians vid viktad sannolikhetsprovtagning

Att inkludera viktad sannolikhetsprovtagning är konceptuellt enkelt. Den skattade aktionsvärdesfunktionen $q(s, a)$ justeras genom att varje observerad avkastning viktas med motsvarande viktad sannolikhetskvot. Den enklaste formuleringen ser ut så här:

där:

• $\rho_i(s, a)$ är viktad sannolikhetskvot för den $i$:te banan som startar från $(s, a)$;
• $Returns_i(s, a)$ är avkastningen från den banan;
• $N(s, a)$ är antalet gånger $(s, a)$ har besökts.

Detta kallas ordinär viktad sannolikhetsprovtagning. Den ger en oberoende skattning av $q(s, a)$, men kan drabbas av mycket hög varians, särskilt när beteende- och målpolicyn skiljer sig avsevärt.

För att minska variansen kan en mer stabil metod användas: normaliserad viktad sannolikhetsprovtagning. Denna metod normaliserar vikterna, vilket minskar påverkan av stora kvoter och leder till stabilare inlärning:

I denna version är täljaren samma viktade summa av avkastningar, men nämnaren är nu summan av vikterna, istället för en enkel räkning.

Detta gör skattningen snedvriden, men snedvridningen minskar när fler prover samlas in. I praktiken föredras normaliserad viktad sannolikhetsprovtagning på grund av dess betydligt lägre varians och större numerisk stabilitet.

Policys

Precis som i on-policy-fallet används $\varepsilon$-giriga policys för både målpolicyn $\pi(a | s)$ och beteendepolicyn $b(a | s)$.

Vid första anblick kan det verka naturligt att göra målpolicyn fullt girig — vårt slutgiltiga mål är trots allt en girig policy. I praktiken leder detta dock till ett stort problem: om vid något steg $\pi(a | s) = 0$ för den åtgärd som faktiskt valdes av beteendepolicyn, blir viktningen $\rho$ noll och återstående del av episoden ignoreras effektivt.

Genom att använda ett litet $\varepsilon$ (t.ex. $\varepsilon = 0.01$) i målpolicyn säkerställs att $\pi(a | s) > 0$ för varje åtgärd, så att $\rho$ aldrig blir noll mitt i en episod. När träningen är klar är det trivialt att konvertera den inlärda $\varepsilon$-giriga policyn till en strikt girig. Precis som vid on-policy-inlärning bör avtagande $\varepsilon$ användas i beteendepolicyn, men denna gång är det främst för numerisk stabilitet, eftersom $\rho$ fortfarande kan bli noll mitt i en episod på grund av hur tal representeras i datorer.

Pseudokod