Markov Beslutningsprosess
Sveip for å vise menyen
Markov beslutningsprosess (MDP) er et matematisk rammeverk brukt for å modellere beslutningsproblemer der en agent samhandler med et miljø over tid.
Forsterkningslæringsproblemer blir ofte formulert som MDP-er, som gir en strukturert måte å definere problemet på. MDP-er beskriver miljøet ved hjelp av fire nøkkelkomponenter: tilstander, handlinger, overganger og belønninger. Disse komponentene fungerer sammen under Markov-egenskapen, som sikrer at fremtidig tilstand avhenger kun av nåværende tilstand og handling, ikke av tidligere tilstander.
De fire komponentene
Tilstand
En tilstand s er en representasjon av miljøet på et bestemt tidspunkt. Mengden av alle mulige tilstander kalles tilstandsrom S.
En tilstand er vanligvis representert av et sett med parametere som fanger opp de relevante egenskapene til miljøet. Disse parameterne kan inkludere ulike aspekter som posisjon, hastighet, rotasjon osv.
Handling
En handling a er en beslutning eller et trekk gjort av agenten for å påvirke miljøet. Mengden av alle mulige handlinger kalles et handlingsrom A.
Mengden av mulige handlinger avhenger vanligvis av nåværende tilstand.
Overgang
Overgang beskriver hvordan miljøets tilstand endres som respons på agentens handling. Overgangsfunksjonen p angir sannsynligheten for å gå fra én tilstand til en annen, gitt en spesifikk handling.
I mange tilfeller kan miljøer være enten deterministiske eller stokastiske, noe som betyr at overgangen kan være forutsigbar eller inneholde en viss grad av tilfeldighet.
Belønning
En belønning r er en numerisk verdi som agenten mottar etter å ha utført en handling i en bestemt tilstand. Funksjonen som kartlegger overganger til forventede belønninger kalles belønningsfunksjonen R.
Belønninger styrer agenten mot ønsket atferd, og kan være enten positive eller negative. Belønningsutforming er komplisert, ettersom agenten kan forsøke å utnytte belønningene.
Markov-egenskapen
Markov-egenskapen i en Markov beslutningsprosess sier at neste tilstand og belønning avhenger kun av nåværende tilstand og handling, ikke av tidligere informasjon. Dette sikrer et hukommelsesfritt rammeverk, noe som forenkler læringsprosessen.
Matematisk kan denne egenskapen beskrives med denne formelen:
=P(Rt+1=r,St+1=s′∣St,At)=P(Rt+1=r,St+1=s′∣S0,A0,R1,...,St−1,At−1,Rt,St,At)hvor:
- St er en tilstand ved tid t;
- At er en handling utført ved tid t;
- Rt er en belønning ved tid t.
Den hukommelsesløse naturen til MDP betyr ikke at tidligere observasjoner blir ignorert. Nåværende tilstand skal inneholde all relevant historisk informasjon.
Takk for tilbakemeldingene dine!
Spør AI
Spør AI
Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår
Markov Beslutningsprosess
Markov beslutningsprosess (MDP) er et matematisk rammeverk brukt for å modellere beslutningsproblemer der en agent samhandler med et miljø over tid.
Forsterkningslæringsproblemer blir ofte formulert som MDP-er, som gir en strukturert måte å definere problemet på. MDP-er beskriver miljøet ved hjelp av fire nøkkelkomponenter: tilstander, handlinger, overganger og belønninger. Disse komponentene fungerer sammen under Markov-egenskapen, som sikrer at fremtidig tilstand avhenger kun av nåværende tilstand og handling, ikke av tidligere tilstander.
De fire komponentene
Tilstand
En tilstand s er en representasjon av miljøet på et bestemt tidspunkt. Mengden av alle mulige tilstander kalles tilstandsrom S.
En tilstand er vanligvis representert av et sett med parametere som fanger opp de relevante egenskapene til miljøet. Disse parameterne kan inkludere ulike aspekter som posisjon, hastighet, rotasjon osv.
Handling
En handling a er en beslutning eller et trekk gjort av agenten for å påvirke miljøet. Mengden av alle mulige handlinger kalles et handlingsrom A.
Mengden av mulige handlinger avhenger vanligvis av nåværende tilstand.
Overgang
Overgang beskriver hvordan miljøets tilstand endres som respons på agentens handling. Overgangsfunksjonen p angir sannsynligheten for å gå fra én tilstand til en annen, gitt en spesifikk handling.
I mange tilfeller kan miljøer være enten deterministiske eller stokastiske, noe som betyr at overgangen kan være forutsigbar eller inneholde en viss grad av tilfeldighet.
Belønning
En belønning r er en numerisk verdi som agenten mottar etter å ha utført en handling i en bestemt tilstand. Funksjonen som kartlegger overganger til forventede belønninger kalles belønningsfunksjonen R.
Belønninger styrer agenten mot ønsket atferd, og kan være enten positive eller negative. Belønningsutforming er komplisert, ettersom agenten kan forsøke å utnytte belønningene.
Markov-egenskapen
Markov-egenskapen i en Markov beslutningsprosess sier at neste tilstand og belønning avhenger kun av nåværende tilstand og handling, ikke av tidligere informasjon. Dette sikrer et hukommelsesfritt rammeverk, noe som forenkler læringsprosessen.
Matematisk kan denne egenskapen beskrives med denne formelen:
=P(Rt+1=r,St+1=s′∣St,At)=P(Rt+1=r,St+1=s′∣S0,A0,R1,...,St−1,At−1,Rt,St,At)hvor:
- St er en tilstand ved tid t;
- At er en handling utført ved tid t;
- Rt er en belønning ved tid t.
Den hukommelsesløse naturen til MDP betyr ikke at tidligere observasjoner blir ignorert. Nåværende tilstand skal inneholde all relevant historisk informasjon.
Takk for tilbakemeldingene dine!
