Processus de Décision de Markov
Le processus de décision de Markov (MDP) est un cadre mathématique utilisé pour modéliser les problèmes de prise de décision où un agent interagit avec un environnement au fil du temps.
Les problèmes d’apprentissage par renforcement sont souvent formulés comme des MDP, qui offrent une manière structurée de définir le problème. Les MDP décrivent l’environnement à l’aide de quatre composants clés : états, actions, transitions et récompenses. Ces composants fonctionnent ensemble selon la propriété de Markov, qui garantit que l’état futur dépend uniquement de l’état courant et de l’action, et non des états passés.
Les quatre composants
État
Un état s est une représentation de l'environnement à un instant donné. L'ensemble de tous les états possibles est appelé espace des états S.
Un état est généralement représenté par un ensemble de paramètres qui capturent les caractéristiques pertinentes de l'environnement. Ces paramètres peuvent inclure divers aspects tels que la position, la vitesse, la rotation, etc.
Action
Une action a est une décision ou un mouvement effectué par l'agent pour influencer l'environnement. L'ensemble de toutes les actions possibles est appelé espace d'actions A.
L'ensemble des actions possibles dépend généralement de l'état actuel.
Transition
Transition décrit comment l'état de l'environnement évolue en réponse à l'action de l'agent. La fonction de transition p spécifie la probabilité de passer d'un état à un autre, étant donné une action spécifique.
Dans de nombreux cas, les environnements peuvent être soit déterministes, soit stochastiques, ce qui signifie que la transition peut être prévisible ou impliquer un certain degré d'aléa.
Récompense
Une récompense r est une valeur numérique reçue par l’agent après avoir effectué une action dans un état particulier. La fonction qui associe les transitions aux récompenses attendues est appelée la fonction de récompense R.
Les récompenses orientent l’agent vers un comportement souhaitable, et peuvent être positives ou négatives. L’ingénierie des récompenses est complexe, car l’agent peut tenter d’exploiter les récompenses.
Propriété de Markov
La propriété de Markov dans un processus de décision de Markov stipule que le prochain état et la récompense dépendent uniquement de l'état courant et de l'action courante, et non des informations passées. Cela garantit un cadre sans mémoire, simplifiant ainsi le processus d'apprentissage.
Mathématiquement, cette propriété peut être décrite par la formule suivante :
=P(Rt+1=r,St+1=s′∣St,At)=P(Rt+1=r,St+1=s′∣S0,A0,R1,...,St−1,At−1,Rt,St,At)où :
- St est un état à l'instant t ;
- At est une action effectuée à l'instant t ;
- Rt est une récompense à l'instant t.
La nature sans mémoire du MDP ne signifie pas que les observations passées sont ignorées. L'état courant doit encoder toutes les informations historiques pertinentes.
Merci pour vos commentaires !
Demandez à l'IA
Demandez à l'IA
Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion
Awesome!
Completion rate improved to 2.7Processus de Décision de Markov
Glissez pour afficher le menu
Le processus de décision de Markov (MDP) est un cadre mathématique utilisé pour modéliser les problèmes de prise de décision où un agent interagit avec un environnement au fil du temps.
Les problèmes d’apprentissage par renforcement sont souvent formulés comme des MDP, qui offrent une manière structurée de définir le problème. Les MDP décrivent l’environnement à l’aide de quatre composants clés : états, actions, transitions et récompenses. Ces composants fonctionnent ensemble selon la propriété de Markov, qui garantit que l’état futur dépend uniquement de l’état courant et de l’action, et non des états passés.
Les quatre composants
État
Un état s est une représentation de l'environnement à un instant donné. L'ensemble de tous les états possibles est appelé espace des états S.
Un état est généralement représenté par un ensemble de paramètres qui capturent les caractéristiques pertinentes de l'environnement. Ces paramètres peuvent inclure divers aspects tels que la position, la vitesse, la rotation, etc.
Action
Une action a est une décision ou un mouvement effectué par l'agent pour influencer l'environnement. L'ensemble de toutes les actions possibles est appelé espace d'actions A.
L'ensemble des actions possibles dépend généralement de l'état actuel.
Transition
Transition décrit comment l'état de l'environnement évolue en réponse à l'action de l'agent. La fonction de transition p spécifie la probabilité de passer d'un état à un autre, étant donné une action spécifique.
Dans de nombreux cas, les environnements peuvent être soit déterministes, soit stochastiques, ce qui signifie que la transition peut être prévisible ou impliquer un certain degré d'aléa.
Récompense
Une récompense r est une valeur numérique reçue par l’agent après avoir effectué une action dans un état particulier. La fonction qui associe les transitions aux récompenses attendues est appelée la fonction de récompense R.
Les récompenses orientent l’agent vers un comportement souhaitable, et peuvent être positives ou négatives. L’ingénierie des récompenses est complexe, car l’agent peut tenter d’exploiter les récompenses.
Propriété de Markov
La propriété de Markov dans un processus de décision de Markov stipule que le prochain état et la récompense dépendent uniquement de l'état courant et de l'action courante, et non des informations passées. Cela garantit un cadre sans mémoire, simplifiant ainsi le processus d'apprentissage.
Mathématiquement, cette propriété peut être décrite par la formule suivante :
=P(Rt+1=r,St+1=s′∣St,At)=P(Rt+1=r,St+1=s′∣S0,A0,R1,...,St−1,At−1,Rt,St,At)où :
- St est un état à l'instant t ;
- At est une action effectuée à l'instant t ;
- Rt est une récompense à l'instant t.
La nature sans mémoire du MDP ne signifie pas que les observations passées sont ignorées. L'état courant doit encoder toutes les informations historiques pertinentes.
Merci pour vos commentaires !
