On-Policy Monte Carlo-kontroll

Idén bakom on-policy-metoder är intuitiv: en agent lär sig genom att följa sin nuvarande policy och förbättrar denna policy baserat på de utfall den upplever. För att upptäcka bättre handlingar och undvika att fastna i suboptimalt beteende inför agenten en viss grad av slumpmässighet — ibland provar den alternativa handlingar för att uppmuntra utforskning.

Liknelse

Föreställ dig att du är på en glassbar och det finns tre smaker tillgängliga: choklad, vanilj och jordgubb. Du älskar choklad, så det är oftast det du väljer. Men en dag, av nyfikenhet, bestämmer du dig för att prova jordgubb istället. Det visar sig att jordgubbsglassen på detta ställe är otroligt god, och du bestämmer dig för att välja den varje gång du besöker glassbaren.

Att prova en ny smak var inte nödvändigtvis det mest logiska valet baserat på tidigare erfarenheter, men det gav dig en chans att upptäcka något nytt. Och denna typ av utforskande ligger i kärnan av on-policy-metoder.

Stokastiska policys

Formellt innebär detta att man ersätter de deterministiska (hårda) policys som används i dynamisk programmering med stokastiska (mjuka) policys, betecknade som $\pi(a | s)$, där:

Med andra ord har varje handling i varje tillstånd en icke-noll sannolikhet att väljas. Detta säkerställer att alla delar av miljön så småningom kan utforskas, vilket är avgörande när man lär sig från erfarenhet.

$\Large\varepsilon$-giriga policys

För att införa utforskning i policyn kan vi låna konceptet $\varepsilon$-girig utforskning från multiarmade banditproblemet. Detta gör det möjligt att definiera en stokastisk policy som balanserar mellan att utnyttja den bästa kända handlingen och att utforska alternativ:

Denna policy beter sig girigt för det mesta — väljer handlingen med högst uppskattat värde — men med sannolikheten $\varepsilon$ väljs en slumpmässig handling, vilket säkerställer att alla handlingar har en icke-noll chans att väljas (även den giriga, via likformig sampling).

Vid första anblick kan detta tillvägagångssätt verka problematiskt: eftersom policyn aldrig blir helt girig kommer den aldrig att konvergera till exakt optimal policy. Därmed uppfyller den inte strikt villkoren för GPI om vi förväntar oss exakt optimalitet i gränsen.

Dock kräver GPI inte att policyn blir optimal omedelbart — det krävs bara att varje policy förbättras (eller förblir densamma) jämfört med den föregående, och gradvis närmar sig optimalitet. $\varepsilon$-girig policy uppfyller detta villkor: den förbättrar policyn i genomsnitt och säkerställer fortsatt utforskning för bättre uppskattningar.

För att hantera problemet med konvergens till den verkligt optimala policyn kan vi gradvis minska $\varepsilon$ över tid. Denna strategi gör att policyn blir alltmer girig i takt med att inlärningen fortskrider. I de tidiga stadierna hjälper utforskning till att samla varierad erfarenhet, medan agenten i senare stadier utnyttjar sin förbättrade kunskap. Med en korrekt avtagande $\varepsilon$ konvergerar metoden till en optimal policy i gränsen.

Pseudokod