Kursusindhold

Introduktion til Reinforcement Learning

1. RL Kerneprincipper

Hvad er RL?RL vs Andre Læringsparadigmer Markov Beslutningsproces Episoder og Afkast Model, Politik og Værdier Udforskning vs Udnyttelse Gymnasium Grundlæggende Udfordring: Opsætning af et Miljø

2. Multi-Armet Bandit-Problem

Problemintroduktion Aktionsværdier Epsilon-Grådig Algoritme Algoritme for Øvre Konfidensgrænse Gradient Bandit-Algoritme Udfordring: Multi-Armede Banditter

3. Dynamisk Programmering

Hvad Er Dynamisk Programmering?Bellman-Ligninger Optimalitetsbetingelser Politikevaluering Politikforbedring Generel Policy-Iteration Policyiteration Værdiiteration Udfordring: Dynamisk Programmering

4. Monte Carlo-metoder

Hvad er Monte Carlo-metoder?Estimering af Værdifunktion Monte Carlo-Kontrol Udforskningsmetoder On-Policy Monte Carlo-Kontrol Off-Policy Monte Carlo-Kontrol Inkrementelle Implementeringer Udfordring: Monte Carlo-metoder

5. Temporal Difference-Læring

Hvad Er Temporal Difference-Læring?TD(0): Værdifunktionsestimering SARSA: On-Policy TD-Læring Q-Learning: Off-Policy TD-Læring Generalisering af TD-Læring Udfordring: Temporal Difference Læring

Generalisering af TD-Læring

Indtil nu har vi betragtet to ekstreme tilfælde af læring fra erfaring:

TD(0): anvender ét-trins afkast;
Monte Carlo: venter til slutningen af episoden for at beregne afkastet.

Men hvad hvis vi ønsker noget midt imellem? Noget der udnytter mere fremtidig information end TD(0), men som ikke behøver at vente på hele episoden som Monte Carlo?

Her kommer $n$ -trins TD-læring og TD( $\lambda$ ) ind i billedet — metoder, der forener og generaliserer de idéer, vi hidtil har set.

$\Large n$ -Trins TD-læring

Idéen bag $n$ -trins TD-læring er enkel: i stedet for kun at bruge det næste trin eller hele episoden, anvender vi de næste $n$ trin, og anvender derefter bootstrapping:

G_t^{(n)} = R_{t+1} + \gamma R_{t+2} + ... + \gamma^{n-1} R_{t+n} + \gamma^n V(S_{t+1})

Dette muliggør en afvejning:

Når $n = 1$ : svarer det til TD(0);
Når $n = \infty$ : bliver det Monte Carlo.

Disse afkast kan derefter bruges til at erstatte målet i TD(0) opdateringsreglen:

V(S_t) \gets V(S_t) + \alpha\Bigl(G_t^{(n)} - V(S_t)\Bigr)

TD( $\Large\lambda$ )

TD( $\lambda$ ) er en smart idé, der bygger oven på $n$ -trins TD-læring: i stedet for at vælge et fast $n$ , kombinerer vi alle $n$ -trins afkast sammen:

L_t = (1 - \lambda) \sum_{n=0}^{\infty} \lambda^{n-1}G_t^{(n)}

hvor $\lambda \in [0, 1]$ styrer vægtningen:

Hvis $\lambda = 0$ : kun ét-trins afkast $\to$ TD(0);
Hvis $\lambda = 1$ : fuldt afkast $\to$ Monte Carlo;
Mellem-værdier blander flere trins afkast.

Så $\lambda$ fungerer som en bias-varians afvejning:

Lav $\lambda$ : mere bias, mindre varians;
Høj $\lambda$ : mindre bias, mere varians.

$L_t$ kan derefter bruges som opdateringsmål i TD(0)-opdateringsreglen:

V(S_t) \gets V(S_t) + \alpha\Bigl(L_t - V(S_t)\Bigr)

Var alt klart?

Tak for dine kommentarer!

Sektion 5. Kapitel 5

Spørg AI

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat

Kursusindhold

Introduktion til Reinforcement Learning

1. RL Kerneprincipper

Hvad er RL?RL vs Andre Læringsparadigmer Markov Beslutningsproces Episoder og Afkast Model, Politik og Værdier Udforskning vs Udnyttelse Gymnasium Grundlæggende Udfordring: Opsætning af et Miljø

2. Multi-Armet Bandit-Problem

Problemintroduktion Aktionsværdier Epsilon-Grådig Algoritme Algoritme for Øvre Konfidensgrænse Gradient Bandit-Algoritme Udfordring: Multi-Armede Banditter

3. Dynamisk Programmering

4. Monte Carlo-metoder

5. Temporal Difference-Læring

Hvad Er Temporal Difference-Læring?TD(0): Værdifunktionsestimering SARSA: On-Policy TD-Læring Q-Learning: Off-Policy TD-Læring Generalisering af TD-Læring Udfordring: Temporal Difference Læring

Generalisering af TD-Læring

Indtil nu har vi betragtet to ekstreme tilfælde af læring fra erfaring:

TD(0): anvender ét-trins afkast;
Monte Carlo: venter til slutningen af episoden for at beregne afkastet.

Men hvad hvis vi ønsker noget midt imellem? Noget der udnytter mere fremtidig information end TD(0), men som ikke behøver at vente på hele episoden som Monte Carlo?

Her kommer $n$ -trins TD-læring og TD( $\lambda$ ) ind i billedet — metoder, der forener og generaliserer de idéer, vi hidtil har set.

$\Large n$ -Trins TD-læring

Idéen bag $n$ -trins TD-læring er enkel: i stedet for kun at bruge det næste trin eller hele episoden, anvender vi de næste $n$ trin, og anvender derefter bootstrapping:

G_t^{(n)} = R_{t+1} + \gamma R_{t+2} + ... + \gamma^{n-1} R_{t+n} + \gamma^n V(S_{t+1})

Dette muliggør en afvejning:

Når $n = 1$ : svarer det til TD(0);
Når $n = \infty$ : bliver det Monte Carlo.

Disse afkast kan derefter bruges til at erstatte målet i TD(0) opdateringsreglen:

V(S_t) \gets V(S_t) + \alpha\Bigl(G_t^{(n)} - V(S_t)\Bigr)

TD( $\Large\lambda$ )

TD( $\lambda$ ) er en smart idé, der bygger oven på $n$ -trins TD-læring: i stedet for at vælge et fast $n$ , kombinerer vi alle $n$ -trins afkast sammen:

L_t = (1 - \lambda) \sum_{n=0}^{\infty} \lambda^{n-1}G_t^{(n)}

hvor $\lambda \in [0, 1]$ styrer vægtningen:

Hvis $\lambda = 0$ : kun ét-trins afkast $\to$ TD(0);
Hvis $\lambda = 1$ : fuldt afkast $\to$ Monte Carlo;
Mellem-værdier blander flere trins afkast.

Så $\lambda$ fungerer som en bias-varians afvejning:

Lav $\lambda$ : mere bias, mindre varians;
Høj $\lambda$ : mindre bias, mere varians.

$L_t$ kan derefter bruges som opdateringsmål i TD(0)-opdateringsreglen:

V(S_t) \gets V(S_t) + \alpha\Bigl(L_t - V(S_t)\Bigr)

Var alt klart?

Tak for dine kommentarer!

Sektion 5. Kapitel 5

Introduktion til Reinforcement Learning

Generalisering af TD-Læring

n\Large nn-Trins TD-læring

TD(λ\Large\lambdaλ)

Introduktion til Reinforcement Learning

Generalisering af TD-Læring

n\Large nn-Trins TD-læring

TD(λ\Large\lambdaλ)

$\Large n$ -Trins TD-læring

TD( $\Large\lambda$ )

$\Large n$ -Trins TD-læring

TD( $\Large\lambda$ )