Markov-Beslissingsproces
Veeg om het menu te tonen
Markov-beslissingsproces (MDP) is een wiskundig raamwerk dat wordt gebruikt om besluitvormingsproblemen te modelleren waarbij een agent in de loop van de tijd met een omgeving interageert.
Reinforcement learning-problemen worden vaak geformuleerd als MDP's, die een gestructureerde manier bieden om het probleem te definiëren. MDP's beschrijven de omgeving met behulp van vier kerncomponenten: toestanden, acties, transities en beloningen. Deze componenten werken samen onder de Markov-eigenschap, die ervoor zorgt dat de toekomstige toestand alleen afhangt van de huidige toestand en actie, en niet van eerdere toestanden.
De vier componenten
Toestand
Een toestand s is een representatie van de omgeving op een specifiek moment. De verzameling van alle mogelijke toestanden wordt de toestandsruimte S genoemd.
Een toestand wordt doorgaans weergegeven door een reeks parameters die de relevante kenmerken van de omgeving vastleggen. Deze parameters kunnen verschillende aspecten omvatten, zoals positie, snelheid, rotatie, enzovoort.
Actie
Een actie a is een beslissing of zet die door de agent wordt genomen om de omgeving te beïnvloeden. De verzameling van alle mogelijke acties wordt de actieruimte A genoemd.
De verzameling van mogelijke acties hangt meestal af van de huidige toestand.
Transitie
Transitie beschrijft hoe de toestand van de omgeving verandert als reactie op de actie van de agent. De transitiefunctie p specificeert de kans om van de ene toestand naar de andere te gaan, gegeven een specifieke actie.
In veel gevallen kunnen omgevingen zowel deterministisch als stochastisch zijn, wat betekent dat de transitie voorspelbaar kan zijn of een zekere mate van willekeur kan bevatten.
Beloning
Een beloning r is een numerieke waarde die de agent ontvangt na het uitvoeren van een actie in een bepaalde toestand. De functie die overgangen koppelt aan verwachte beloningen wordt de beloningsfunctie R genoemd.
Beloningen sturen de agent naar wenselijk gedrag, en kunnen zowel positief als negatief zijn. Beloningsontwerp is complex, omdat de agent kan proberen de beloningen te exploiteren.
Markov-eigenschap
De Markov-eigenschap in een Markov-beslissingsproces stelt dat de volgende toestand en beloning alleen afhangen van de huidige toestand en actie, en niet van eerdere informatie. Dit zorgt voor een geheugenloos kader, wat het leerproces vereenvoudigt.
Wiskundig kan deze eigenschap worden beschreven met de volgende formule:
=P(Rt+1=r,St+1=s′∣St,At)=P(Rt+1=r,St+1=s′∣S0,A0,R1,...,St−1,At−1,Rt,St,At)waarbij:
- St een toestand is op tijdstip t;
- At een actie is uitgevoerd op tijdstip t;
- Rt een beloning is op tijdstip t.
Het geheugenloze karakter van een MDP betekent niet dat eerdere observaties worden genegeerd. De huidige toestand moet alle relevante historische informatie bevatten.
Bedankt voor je feedback!
Vraag AI
Vraag AI
Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.
