Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.Lære Model, Politik og Værdier | RL Kerne Teori
Introduktion til Reinforcement Learning med Python

Model, Politik og Værdier

Stryg for at vise menuen

Model

Note
Definition

En model er en repræsentation af miljøet, der definerer overgangssandsynlighederne mellem tilstande og de forventede belønninger for udførte handlinger.

Forstærkningslæringsalgoritmer kan opdeles i to kategorier:

  • Modelbaseret: I denne tilgang lærer agenten eller har adgang til en model af miljøet, hvilket gør det muligt at simulere fremtidige tilstande og belønninger, før handlinger udføres. Dette gør det muligt for agenten at planlægge og træffe mere informerede beslutninger;
  • Modelfri: I denne tilgang har agenten ikke en direkte model af miljøet. Den lærer udelukkende gennem interaktion med miljøet og benytter trial and error for at finde de bedste handlinger.

I praksis er miljøer med eksplicitte modeller sjældne, hvilket gør det vanskeligt for agenter at benytte modelbaserede strategier. Som følge heraf er modelfrie tilgange blevet mere udbredte og grundigt studeret inden for forskning og anvendelse af forstærkningslæring.

Model og ingen model

Politik

Note
Definition

Politik π\pi er den strategi, en agent følger for at bestemme sine handlinger baseret på miljøets nuværende tilstand.

Der findes to typer af politikker:

  • Deterministisk politik: agenten vælger altid den samme handling for en given tilstand;
  • Stokastisk politik: agenten vælger handlinger baseret på sandsynlighedsfordelinger.

Under læringsprocessen er agentens mål at finde en optimal politik. En optimal politik er en, der maksimerer det forventede afkast, og guider agenten til at træffe de bedst mulige beslutninger i enhver given tilstand.

Tilfældige og optimale politikker

Værdifunktioner

Værdifunktioner er afgørende for at forstå, hvordan en agent vurderer potentialet af en bestemt tilstand eller tilstands-handlingspar. De bruges til at estimere fremtidige forventede belønninger, hvilket hjælper agenten med at træffe informerede beslutninger.

Tilstandsværdifunktion

Note
Definition

Tilstandsværdifunktion VV (eller vv) er en funktion, der angiver det forventede afkast ved at befinde sig i en bestemt tilstand og følge en specifik politik. Den bruges til at vurdere tilstandes attraktivitet.

Eksempler på tilstandsværdi

Værdien af en tilstand kan udtrykkes matematisk således:

vπ(s)=E⁡π[Gt∣St=s]=E⁡π[∑k=0∞γkRt+k+1∣St=s]\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s\Biggr]

Tilstands-handlingsværdifunktion

Note
Definition

Tilstands-handlingsværdifunktion QQ(eller qq) er en funktion, der angiver det forventede afkast ved at tage en bestemt handling i en givet tilstand og derefter følge en specifik politik. Den hjælper med at vurdere hensigtsmæssigheden af handlinger i tilstande.

Tilstands-handlingsværdifunktion kaldes ofte handlingsværdifunktion.

Eksempler på tilstands-handlingsværdi

Værdien af en handling kan udtrykkes matematisk således:

qπ(s,a)=E⁡π[Gt∣St=s,At=a]=E⁡π[∑k=0∞γkRt+k+1∣St=s,At=a]\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s, A_t = a\Biggr]

Forholdet mellem model, politik og værdifunktioner

Begreberne model, politik og værdifunktioner er tæt forbundne og danner en omfattende ramme for kategorisering af RL-algoritmer. Denne ramme defineres af to primære akser:

  • Læringsmål: denne akse repræsenterer spektret af RL-algoritmer baseret på deres afhængighed af værdifunktioner, politikfunktioner eller en kombination af begge;
  • Modelanvendelse: denne akse adskiller algoritmer baseret på, om de benytter en model af miljøet eller udelukkende lærer gennem interaktion.

Ved at kombinere disse dimensioner kan vi klassificere RL-algoritmer i forskellige kategorier, hver med sine egne karakteristika og ideelle anvendelsesområder. Forståelse af disse relationer hjælper med at vælge den rette algoritme til specifikke opgaver og sikrer effektiv læring og beslutningstagning.

Model-, politik- og værdialgoritmeklassificering
question-icon

Udfyld de tomme felter

To predict the response of the environment, a can be used.
A is a model of an agent's behavior.
To determine the value of a/an , state value function is used.
To determine the value of a/an , state-action value function is used.

Klik eller træk`n`drop elementer og udfyld hullerne

Var alt klart?

Hvordan kan vi forbedre det?

Tak for dine kommentarer!

Sektion 1. Kapitel 5

Spørg AI

expand

Spørg AI

ChatGPT

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat

Model, Politik og Værdier

Model

Note
Definition

En model er en repræsentation af miljøet, der definerer overgangssandsynlighederne mellem tilstande og de forventede belønninger for udførte handlinger.

Forstærkningslæringsalgoritmer kan opdeles i to kategorier:

  • Modelbaseret: I denne tilgang lærer agenten eller har adgang til en model af miljøet, hvilket gør det muligt at simulere fremtidige tilstande og belønninger, før handlinger udføres. Dette gør det muligt for agenten at planlægge og træffe mere informerede beslutninger;
  • Modelfri: I denne tilgang har agenten ikke en direkte model af miljøet. Den lærer udelukkende gennem interaktion med miljøet og benytter trial and error for at finde de bedste handlinger.

I praksis er miljøer med eksplicitte modeller sjældne, hvilket gør det vanskeligt for agenter at benytte modelbaserede strategier. Som følge heraf er modelfrie tilgange blevet mere udbredte og grundigt studeret inden for forskning og anvendelse af forstærkningslæring.

Model og ingen model

Politik

Note
Definition

Politik π\pi er den strategi, en agent følger for at bestemme sine handlinger baseret på miljøets nuværende tilstand.

Der findes to typer af politikker:

  • Deterministisk politik: agenten vælger altid den samme handling for en given tilstand;
  • Stokastisk politik: agenten vælger handlinger baseret på sandsynlighedsfordelinger.

Under læringsprocessen er agentens mål at finde en optimal politik. En optimal politik er en, der maksimerer det forventede afkast, og guider agenten til at træffe de bedst mulige beslutninger i enhver given tilstand.

Tilfældige og optimale politikker

Værdifunktioner

Værdifunktioner er afgørende for at forstå, hvordan en agent vurderer potentialet af en bestemt tilstand eller tilstands-handlingspar. De bruges til at estimere fremtidige forventede belønninger, hvilket hjælper agenten med at træffe informerede beslutninger.

Tilstandsværdifunktion

Note
Definition

Tilstandsværdifunktion VV (eller vv) er en funktion, der angiver det forventede afkast ved at befinde sig i en bestemt tilstand og følge en specifik politik. Den bruges til at vurdere tilstandes attraktivitet.

Eksempler på tilstandsværdi

Værdien af en tilstand kan udtrykkes matematisk således:

vπ(s)=E⁡π[Gt∣St=s]=E⁡π[∑k=0∞γkRt+k+1∣St=s]\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s\Biggr]

Tilstands-handlingsværdifunktion

Note
Definition

Tilstands-handlingsværdifunktion QQ(eller qq) er en funktion, der angiver det forventede afkast ved at tage en bestemt handling i en givet tilstand og derefter følge en specifik politik. Den hjælper med at vurdere hensigtsmæssigheden af handlinger i tilstande.

Tilstands-handlingsværdifunktion kaldes ofte handlingsværdifunktion.

Eksempler på tilstands-handlingsværdi

Værdien af en handling kan udtrykkes matematisk således:

qπ(s,a)=E⁡π[Gt∣St=s,At=a]=E⁡π[∑k=0∞γkRt+k+1∣St=s,At=a]\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s, A_t = a\Biggr]

Forholdet mellem model, politik og værdifunktioner

Begreberne model, politik og værdifunktioner er tæt forbundne og danner en omfattende ramme for kategorisering af RL-algoritmer. Denne ramme defineres af to primære akser:

  • Læringsmål: denne akse repræsenterer spektret af RL-algoritmer baseret på deres afhængighed af værdifunktioner, politikfunktioner eller en kombination af begge;
  • Modelanvendelse: denne akse adskiller algoritmer baseret på, om de benytter en model af miljøet eller udelukkende lærer gennem interaktion.

Ved at kombinere disse dimensioner kan vi klassificere RL-algoritmer i forskellige kategorier, hver med sine egne karakteristika og ideelle anvendelsesområder. Forståelse af disse relationer hjælper med at vælge den rette algoritme til specifikke opgaver og sikrer effektiv læring og beslutningstagning.

Model-, politik- og værdialgoritmeklassificering
Var alt klart?

Hvordan kan vi forbedre det?

Tak for dine kommentarer!

Sektion 1. Kapitel 5
some-alt