Verkenningsbenaderingen

De exploring starts-aanname is nuttig om ervoor te zorgen dat alle toestanden (toestand-actieparen) na verloop van tijd worden bezocht. In de meeste praktijksituaties heeft dit echter een groot nadeel: het vereist een model om de agent in willekeurige toestanden te initialiseren.

In zeldzame gevallen — wanneer de omgeving van nature episodes start vanuit willekeurige toestanden die de volledige toestandsruimte dekken — kan exploring starts zonder problemen worden toegepast. Vaker echter hebben taken een vaste of beperkte set starttoestanden, waardoor dergelijke randomisatie onmogelijk is zonder een gedeeltelijk model. Dit model moet ten minste in staat zijn om één stap van de omgeving te simuleren vanuit elke toestand. Hoewel dit minder veeleisend is dan het hebben van een volledig model, is het vaak niet praktisch.

Alternatieve verkenningsbenaderingen

Als starten vanuit een willekeurige toestand (toestand-actie paar) geen optie is, is het alternatief om ervoor te zorgen dat elke actie een niet-nul kans heeft om geselecteerd te worden in elke toestand. Dit garandeert dat de agent na verloop van tijd alle bereikbare delen van de toestandsruimte zal verkennen. Als een toestand bereikt kan worden via een geldige reeks acties, zal dit uiteindelijk gebeuren; en als een toestand helemaal niet bereikt kan worden onder de dynamiek van de omgeving, is deze irrelevant voor het leerproces.

Dit idee leidt tot het gebruik van stochastische beleidsvormen, waarbij de agent niet altijd de best bekende actie kiest, maar in plaats daarvan acties selecteert met een zekere mate van willekeur. Een veelgebruikte strategie hiervoor is het bekende $\varepsilon$-greedy beleid, dat meestal de hebzuchtige actie kiest, maar met kans $\varepsilon$ een willekeurige actie selecteert. Dit zorgt voor voortdurende exploratie terwijl toch de voorkeur wordt gegeven aan acties met hoge waarde.

Op dit punt is het ook nuttig om onderscheid te maken tussen twee hoofdklassen van methoden:

• On-policy methoden evalueren en verbeteren hetzelfde beleid dat wordt gebruikt om de data te genereren;
• Off-policy methoden evalueren en verbeteren het ene beleid, en genereren de data met het andere beleid.