Kursinnehåll

Introduktion till Förstärkningsinlärning

1. RL Kärnteori

Vad är RL?RL Jämfört Med Andra Inlärningsparadigm Markovbeslutsprocess Episoder och Belöningar Modell, Policy och Värden Utforskning kontra Exploatering Gymnasium-Grunder Utmaning: Konfigurera en Miljö

2. Multi-Armed Bandit-Problemet

Probleminledning Aktionsvärden Epsilon-Girig Algoritm Algoritm för Övre Konfidensgräns Gradientbanditalgoritm Utmaning: Multi-Armed Bandits

3. Dynamisk Programmering

Vad är dynamisk programmering?Bellmans Ekvationer Optimalitetsvillkor Policyutvärdering Policyförbättring Generaliserad Policyiteration Policyiteration Värdeiteration Utmaning: Dynamisk Programmering

4. Monte Carlo-metoder

Vad är Monte Carlo-metoder?Värdefunktionsuppskattning Monte Carlo-Kontroll Utforskningsmetoder On-Policy Monte Carlo-Kontroll Off-Policy Monte Carlo-Kontroll Inkrementella Implementationer Utmaning: Monte Carlo-metoder

5. Temporär Differensinlärning

Vad är Temporär Differensinlärning?TD(0): Värdefunktionsuppskattning SARSA: On-Policy TD-Inlärning Q-inlärning: Off-Policy TD-inlärning Generalisering av TD-inlärning Utmaning: Temporär Differensinlärning

Bellmans Ekvationer

Definition

En Bellman-ekvation är en funktionalekvation som definierar en värdefunktion i rekursiv form.

För att förtydliga definitionen:

En funktionalekvation är en ekvation vars lösning är en funktion. För Bellman-ekvationen är denna lösning värdefunktionen som ekvationen är formulerad för;
En rekursiv form innebär att värdet i det aktuella tillståndet uttrycks i termer av värden i framtida tillstånd.

Sammanfattningsvis ger lösningen av Bellman-ekvationen den önskade värdefunktionen, och att härleda denna ekvation kräver att man identifierar en rekursiv relation mellan nuvarande och framtida tillstånd.

Tillståndsvärdefunktion

Som en påminnelse, här är en tillståndsvärdesfunktion i kompakt form:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s]

För att erhålla Bellman-ekvationen för denna värdesfunktion, expanderar vi höger sida av ekvationen och etablerar en rekursiv relation:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &= \E_\pi[G_t | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s]\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

Den sista ekvationen i denna kedja är en Bellman-ekvation för tillståndsvärdesfunktionen.

Intuition

För att bestämma värdet av ett tillstånd $s$ :

Beakta alla möjliga handlingar $a$ du kan utföra från detta tillstånd, var och en viktad efter sannolikheten att du väljer den handlingen enligt din nuvarande policy $\pi(a | s)$ ;
För varje handling $a$ , beakta alla möjliga nästa tillstånd $s'$ och belöningar $r$ , viktade efter deras sannolikhet $p(s', r | s, a)$ ;
För varje av dessa utfall, ta den omedelbara belöningen $r$ du får plus det diskonterade värdet av nästa tillstånd $\gamma v_\pi(s')$ .

Genom att summera alla dessa möjligheter får du det totala förväntade värdet av tillståndet $s$ under din nuvarande policy.

Aktionsvärdesfunktion

Här är en aktionsvärdesfunktion i kompakt form:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a]

Härledning av Bellman-ekvationen för denna funktion är mycket lik den föregående:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} q_\pi(s, a) &= \E_\pi[G_t | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s, A_t = a]\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') \Bigl(\E_\pi\Bigl[G_{t+1} | S_{t+1} = s', A_{t+1} = a'\Bigr]\Bigr)\Biggr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') q(s', a')\Biggr) \end{aligned}

Den sista ekvationen i denna kedja är en Bellman-ekvation för aktionsvärdesfunktionen.

Intuition

För att hitta värdet av ett tillstånd-aktionspar $(s, a)$ :

Beakta alla möjliga nästa tillstånd $s'$ och belöningar $r$ , viktade efter deras sannolikhet $p(s', r | s, a)$ ;
För varje av dessa utfall tar du den omedelbara belöningen $r$ du får plus det diskonterade värdet av nästa tillstånd;
För att beräkna värdet av nästa tillstånd $s'$ , multiplicera för alla möjliga handlingar $a'$ från tillståndet $s'$ , handlingsvärdet $q(s', a')$ med sannolikheten att välja $a'$ i tillståndet $s'$ under nuvarande policy $\pi(a' | s')$ . Summera sedan allt för att få det slutliga värdet.

Genom att summera alla dessa möjligheter får du det totala förväntade värdet av tillstånd-aktionsparet $(s, a)$ under din nuvarande policy.

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 3. Kapitel 2

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal

Kursinnehåll

Introduktion till Förstärkningsinlärning

1. RL Kärnteori

2. Multi-Armed Bandit-Problemet

Probleminledning Aktionsvärden Epsilon-Girig Algoritm Algoritm för Övre Konfidensgräns Gradientbanditalgoritm Utmaning: Multi-Armed Bandits

3. Dynamisk Programmering

4. Monte Carlo-metoder

5. Temporär Differensinlärning

Bellmans Ekvationer

Definition

En Bellman-ekvation är en funktionalekvation som definierar en värdefunktion i rekursiv form.

För att förtydliga definitionen:

En funktionalekvation är en ekvation vars lösning är en funktion. För Bellman-ekvationen är denna lösning värdefunktionen som ekvationen är formulerad för;
En rekursiv form innebär att värdet i det aktuella tillståndet uttrycks i termer av värden i framtida tillstånd.

Tillståndsvärdefunktion

Som en påminnelse, här är en tillståndsvärdesfunktion i kompakt form:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s]

För att erhålla Bellman-ekvationen för denna värdesfunktion, expanderar vi höger sida av ekvationen och etablerar en rekursiv relation:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &= \E_\pi[G_t | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s]\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_a \pi(a | s) \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

Den sista ekvationen i denna kedja är en Bellman-ekvation för tillståndsvärdesfunktionen.

Intuition

För att bestämma värdet av ett tillstånd $s$ :

Beakta alla möjliga handlingar $a$ du kan utföra från detta tillstånd, var och en viktad efter sannolikheten att du väljer den handlingen enligt din nuvarande policy $\pi(a | s)$ ;
För varje handling $a$ , beakta alla möjliga nästa tillstånd $s'$ och belöningar $r$ , viktade efter deras sannolikhet $p(s', r | s, a)$ ;
För varje av dessa utfall, ta den omedelbara belöningen $r$ du får plus det diskonterade värdet av nästa tillstånd $\gamma v_\pi(s')$ .

Genom att summera alla dessa möjligheter får du det totala förväntade värdet av tillståndet $s$ under din nuvarande policy.

Aktionsvärdesfunktion

Här är en aktionsvärdesfunktion i kompakt form:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a]

Härledning av Bellman-ekvationen för denna funktion är mycket lik den föregående:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} q_\pi(s, a) &= \E_\pi[G_t | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma \sum_{k=0}^\infty \gamma^k R_{t+k+2} | S_t = s, A_t = a]\\ &= \E_\pi[R_{t+1} + \gamma G_{t+1} | S_t = s, A_t = a]\\ &= \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma \E_\pi\Bigl[G_{t+1} | S_{t+1} = s'\Bigr]\Bigr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') \Bigl(\E_\pi\Bigl[G_{t+1} | S_{t+1} = s', A_{t+1} = a'\Bigr]\Bigr)\Biggr)\\ &= \sum_{s', r} p(s', r | s, a)\Biggl(r + \gamma \sum_{a'} \pi(a' | s') q(s', a')\Biggr) \end{aligned}

Den sista ekvationen i denna kedja är en Bellman-ekvation för aktionsvärdesfunktionen.

Intuition

För att hitta värdet av ett tillstånd-aktionspar $(s, a)$ :

Beakta alla möjliga nästa tillstånd $s'$ och belöningar $r$ , viktade efter deras sannolikhet $p(s', r | s, a)$ ;
För varje av dessa utfall tar du den omedelbara belöningen $r$ du får plus det diskonterade värdet av nästa tillstånd;
För att beräkna värdet av nästa tillstånd $s'$ , multiplicera för alla möjliga handlingar $a'$ från tillståndet $s'$ , handlingsvärdet $q(s', a')$ med sannolikheten att välja $a'$ i tillståndet $s'$ under nuvarande policy $\pi(a' | s')$ . Summera sedan allt för att få det slutliga värdet.

Genom att summera alla dessa möjligheter får du det totala förväntade värdet av tillstånd-aktionsparet $(s, a)$ under din nuvarande policy.

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 3. Kapitel 2