Leer Model, Beleid en Waarden | Kernprincipes van RL

Veeg om het menu te tonen

Model

Definitie

Een model is een representatie van de omgeving die de overgangswaarschijnlijkheden tussen toestanden en de verwachte beloningen voor genomen acties definieert.

Versterkend leren-algoritmen kunnen worden onderverdeeld in twee categorieën:

Model-based: bij deze benadering leert de agent of heeft de agent toegang tot een model van de omgeving, waardoor het toekomstige toestanden en beloningen kan simuleren voordat acties worden ondernomen. Dit stelt de agent in staat om te plannen en beter geïnformeerde beslissingen te nemen;
Model-free: bij deze benadering heeft de agent geen direct model van de omgeving. Het leert uitsluitend door interactie met de omgeving en vertrouwt op trial-and-error om de beste acties te ontdekken.

In de praktijk zijn omgevingen met expliciete modellen zeldzaam, waardoor het voor agents moeilijk is om op modelgebaseerde strategieën te vertrouwen. Hierdoor zijn modelvrije benaderingen gangbaarder geworden en uitgebreid bestudeerd in onderzoek en toepassingen van versterkend leren.

Beleidsregel

Definitie

Beleidsregel $\pi$ is de strategie die een agent volgt om zijn acties te bepalen op basis van de huidige toestand van de omgeving.

Er zijn twee typen beleidsregels:

Deterministisch beleid: de agent kiest altijd dezelfde actie voor een bepaalde toestand;
Stochastisch beleid: de agent kiest acties op basis van kansverdelingen.

Tijdens het leerproces is het doel van de agent om een optimaal beleid te vinden. Een optimaal beleid maximaliseert de verwachte opbrengst en leidt de agent naar het nemen van de best mogelijke beslissingen in elke gegeven toestand.

Waardefuncties

Waardefuncties zijn essentieel voor het begrijpen van hoe een agent het potentieel van een bepaalde toestand of toestand-actie-paar beoordeelt. Ze worden gebruikt om de toekomstige verwachte beloningen te schatten, waardoor de agent weloverwogen beslissingen kan nemen.

Toestandswaardefunctie

Definitie

Toestandswaardefunctie $V$ (of $v$ ) is een functie die de verwachte opbrengst geeft van het zijn in een bepaalde toestand en het volgen van een specifiek beleid. Het helpt bij het evalueren van de wenselijkheid van toestanden.

De waarde van een toestand kan wiskundig als volgt worden uitgedrukt:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s\Biggr]

Staat-actie waarde functie

Definitie

Staat-actie waarde functie $Q$ (of $q$ ) is een functie die de verwachte opbrengst geeft van het nemen van een bepaalde actie in een gegeven toestand en vervolgens een specifiek beleid te volgen. Het helpt bij het evalueren van de wenselijkheid van acties in toestanden.

Staat-actie waarde functie wordt vaak de actie waarde functie genoemd.

De waarde van een actie kan wiskundig als volgt worden uitgedrukt:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s, A_t = a\Biggr]

Relatie tussen model, beleid en waardefuncties

De concepten model, beleid en waardefuncties zijn nauw met elkaar verbonden en vormen een uitgebreid kader voor het categoriseren van RL-algoritmen. Dit kader wordt gedefinieerd door twee primaire assen:

Leerdoel: deze as vertegenwoordigt het spectrum van RL-algoritmen op basis van hun afhankelijkheid van waardefuncties, beleidfuncties of een combinatie van beide;
Modeltoepassing: deze as onderscheidt algoritmen op basis van het gebruik van een model van de omgeving of uitsluitend leren door interactie.

Door deze dimensies te combineren kunnen RL-algoritmen worden geclassificeerd in onderscheidende categorieën, elk met een eigen set kenmerken en ideale toepassingsgebieden. Inzicht in deze relaties helpt bij het selecteren van het juiste algoritme voor specifieke taken, wat zorgt voor efficiënte leer- en besluitvormingsprocessen.

Was alles duidelijk?

Bedankt voor je feedback!

Sectie 1. Hoofdstuk 5

Vraag AI

Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.

Sectie 1. Hoofdstuk 5