Kursinnhold

Introduksjon til Forsterkende Læring

1. Kjerneprinsipper i RL

Hva er RL?RL Kontra Andre Læringsparadigmer Markov Beslutningsprosess Episoder og Avkastning Modell, policy og verdier Utforskning vs Utnyttelse Grunnleggende om Gymnasium Utfordring: Oppsett av et Miljø

2. Multi-Armet Bandittproblem

Probleminnledning Aksjonsverdier Epsilon-grådig Algoritme Algoritme for Øvre Konfidensgrense Gradientbandittalgoritme Utfordring: Multi-Armede Banditter

3. Dynamisk Programmering

Hva er dynamisk programmering?Bellman-ligninger Optimalitetsbetingelser Policyvurdering Policyforbedring Generalisert Policyiterasjon Policyiterasjon Verdiiterasjon Utfordring: Dynamisk Programmering

4. Monte Carlo-metoder

Hva er Monte Carlo-metoder?Estimering av Verdifunksjon Monte Carlo-Kontroll Utforskningsmetoder On-Policy Monte Carlo-Kontroll Off-Policy Monte Carlo-Kontroll Inkrementelle Implementasjoner Utfordring: Monte Carlo-metoder

5. Temporal Difference-læring

Hva er temporær differanse-læring?TD(0): Verdifunksjonsestimering SARSA: On-Policy TD-Læring Q-læring: Off-Policy TD-Læring Generalisering av TD-læring Utfordring: Temporær Differanse-Læring

Modell, policy og verdier

Modell

Definisjon

En modell er en representasjon av miljøet som definerer overgangssannsynlighetene mellom tilstander og de forventede belønningene for utførte handlinger.

Forsterkningslæringsalgoritmer kan deles inn i to kategorier:

Modellbasert: I denne tilnærmingen lærer agenten eller har tilgang til en modell av miljøet, noe som gjør det mulig å simulere fremtidige tilstander og belønninger før handlinger utføres. Dette gjør det mulig for agenten å planlegge og ta mer informerte beslutninger;
Modellfri: I denne tilnærmingen har ikke agenten en direkte modell av miljøet. Den lærer utelukkende gjennom interaksjon med miljøet, og er avhengig av prøving og feiling for å finne de beste handlingene.

I praksis er miljøer med eksplisitte modeller sjeldne, noe som gjør det vanskelig for agenter å basere seg på modellbaserte strategier. Som et resultat har modelfrie tilnærminger blitt mer utbredt og grundig studert innen forskning og anvendelser av forsterkningslæring.

Policy

Definisjon

Policy $\pi$ er strategien en agent følger for å bestemme sine handlinger basert på nåværende tilstand i miljøet.

Det finnes to typer policyer:

Deterministisk policy: agenten velger alltid den samme handlingen for en gitt tilstand;
Stokastisk policy: agenten velger handlinger basert på sannsynlighetsfordelinger.

Under læringsprosessen er agentens mål å finne en optimal policy. En optimal policy er en som maksimerer den forventede avkastningen, og veileder agenten til å ta de best mulige beslutningene i enhver gitt tilstand.

Verdi-funksjoner

Verdi-funksjoner er avgjørende for å forstå hvordan en agent vurderer potensialet til en bestemt tilstand eller tilstand-handlingspar. De brukes til å estimere fremtidige forventede belønninger, og hjelper agenten med å ta informerte beslutninger.

Tilstandsverdifunksjon

Definisjon

Tilstandsverdifunksjon $V$ (eller $v$ ) er en funksjon som gir forventet avkastning ved å være i en spesifikk tilstand og følge en spesiell policy. Den hjelper med å evaluere hvor ønskelige tilstandene er.

Verdien av en tilstand kan uttrykkes matematisk slik:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s\Biggr]

Tilstands-handlingsverdi-funksjon

Definisjon

Tilstands-handlingsverdi-funksjon $Q$ (eller $q$ ) er en funksjon som gir den forventede avkastningen ved å ta en spesifikk handling i en gitt tilstand og deretter følge en spesiell policy. Den hjelper med å vurdere hvor ønskelige handlingene er i ulike tilstander.

Tilstands-handlingsverdi-funksjon kalles ofte handlingsverdi-funksjon.

Verdien av en handling kan uttrykkes matematisk slik:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s, A_t = a\Biggr]

Forholdet mellom modell, policy og verdifunksjoner

Begrepene modell, policy og verdifunksjoner er tett sammenknyttet, og danner et omfattende rammeverk for kategorisering av RL-algoritmer. Dette rammeverket defineres av to hovedakser:

Læringsmål: denne aksen representerer spekteret av RL-algoritmer basert på deres avhengighet av verdifunksjoner, policy-funksjoner eller en kombinasjon av begge;
Modellbruk: denne aksen skiller algoritmer basert på om de benytter en modell av miljøet eller kun lærer gjennom interaksjon.

Ved å kombinere disse dimensjonene kan vi klassifisere RL-algoritmer i ulike kategorier, hver med sine egne egenskaper og ideelle bruksområder. Å forstå disse sammenhengene hjelper med å velge riktig algoritme for spesifikke oppgaver, og sikrer effektiv læring og beslutningsprosesser.

Alt var klart?

Takk for tilbakemeldingene dine!

Seksjon 1. Kapittel 5

Spør AI

Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår

Kursinnhold

Introduksjon til Forsterkende Læring

1. Kjerneprinsipper i RL

2. Multi-Armet Bandittproblem

Probleminnledning Aksjonsverdier Epsilon-grådig Algoritme Algoritme for Øvre Konfidensgrense Gradientbandittalgoritme Utfordring: Multi-Armede Banditter

3. Dynamisk Programmering

Hva er dynamisk programmering?Bellman-ligninger Optimalitetsbetingelser Policyvurdering Policyforbedring Generalisert Policyiterasjon Policyiterasjon Verdiiterasjon Utfordring: Dynamisk Programmering

4. Monte Carlo-metoder

5. Temporal Difference-læring

Hva er temporær differanse-læring?TD(0): Verdifunksjonsestimering SARSA: On-Policy TD-Læring Q-læring: Off-Policy TD-Læring Generalisering av TD-læring Utfordring: Temporær Differanse-Læring

Modell, policy og verdier

Modell

Definisjon

En modell er en representasjon av miljøet som definerer overgangssannsynlighetene mellom tilstander og de forventede belønningene for utførte handlinger.

Forsterkningslæringsalgoritmer kan deles inn i to kategorier:

Modellbasert: I denne tilnærmingen lærer agenten eller har tilgang til en modell av miljøet, noe som gjør det mulig å simulere fremtidige tilstander og belønninger før handlinger utføres. Dette gjør det mulig for agenten å planlegge og ta mer informerte beslutninger;
Modellfri: I denne tilnærmingen har ikke agenten en direkte modell av miljøet. Den lærer utelukkende gjennom interaksjon med miljøet, og er avhengig av prøving og feiling for å finne de beste handlingene.

Policy

Definisjon

Policy $\pi$ er strategien en agent følger for å bestemme sine handlinger basert på nåværende tilstand i miljøet.

Det finnes to typer policyer:

Deterministisk policy: agenten velger alltid den samme handlingen for en gitt tilstand;
Stokastisk policy: agenten velger handlinger basert på sannsynlighetsfordelinger.

Verdi-funksjoner

Tilstandsverdifunksjon

Definisjon

Verdien av en tilstand kan uttrykkes matematisk slik:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s\Biggr]

Tilstands-handlingsverdi-funksjon

Definisjon

Tilstands-handlingsverdi-funksjon kalles ofte handlingsverdi-funksjon.

Verdien av en handling kan uttrykkes matematisk slik:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s, A_t = a\Biggr]

Forholdet mellom modell, policy og verdifunksjoner

Begrepene modell, policy og verdifunksjoner er tett sammenknyttet, og danner et omfattende rammeverk for kategorisering av RL-algoritmer. Dette rammeverket defineres av to hovedakser:

Læringsmål: denne aksen representerer spekteret av RL-algoritmer basert på deres avhengighet av verdifunksjoner, policy-funksjoner eller en kombinasjon av begge;
Modellbruk: denne aksen skiller algoritmer basert på om de benytter en modell av miljøet eller kun lærer gjennom interaksjon.

Alt var klart?

Takk for tilbakemeldingene dine!

Seksjon 1. Kapittel 5