Kursinnehåll

Introduktion till Förstärkningsinlärning

1. RL Kärnteori

Vad är RL?RL Jämfört Med Andra Inlärningsparadigm Markovbeslutsprocess Episoder och Belöningar Modell, Policy och Värden Utforskning kontra Exploatering Gymnasium-Grunder Utmaning: Konfigurera en Miljö

2. Multi-Armed Bandit-Problemet

Probleminledning Aktionsvärden Epsilon-Girig Algoritm Algoritm för Övre Konfidensgräns Gradientbanditalgoritm Utmaning: Multi-Armed Bandits

3. Dynamisk Programmering

Vad är dynamisk programmering?Bellmans Ekvationer Optimalitetsvillkor Policyutvärdering Policyförbättring Generaliserad Policyiteration Policyiteration Värdeiteration Utmaning: Dynamisk Programmering

4. Monte Carlo-metoder

Vad är Monte Carlo-metoder?Värdefunktionsuppskattning Monte Carlo-Kontroll Utforskningsmetoder On-Policy Monte Carlo-Kontroll Off-Policy Monte Carlo-Kontroll Inkrementella Implementationer Utmaning: Monte Carlo-metoder

5. Temporär Differensinlärning

Vad är Temporär Differensinlärning?TD(0): Värdefunktionsuppskattning SARSA: On-Policy TD-Inlärning Q-inlärning: Off-Policy TD-inlärning Generalisering av TD-inlärning Utmaning: Temporär Differensinlärning

Episoder och Belöningar

Uppgiftens längd

RL-uppgifter kategoriseras vanligtvis som episodiska eller kontinuerliga, beroende på hur inlärningsprocessen är strukturerad över tid.

Definition

Episod är en fullständig sekvens av interaktioner mellan agenten och miljön, som börjar från ett initialt tillstånd och fortskrider genom en serie övergångar tills ett terminalt tillstånd uppnås.

Episodiska uppgifter är sådana som består av en ändlig sekvens av tillstånd, handlingar och belöningar, där agentens interaktion med miljön är uppdelad i särskilda episoder.

Till skillnad från detta har kontinuerliga uppgifter ingen tydlig slutpunkt för varje interaktionscykel. Agenten interagerar kontinuerligt med miljön utan att återställas till ett initialt tillstånd, och inlärningsprocessen pågår fortlöpande, ofta utan en tydlig terminalpunkt.

Avkastning

Du vet redan att agentens huvudsakliga mål är att maximera ackumulerade belöningar. Medan belöningsfunktionen ger omedelbara belöningar, tar den inte hänsyn till framtida utfall, vilket kan vara problematiskt. En agent som tränas enbart för att maximera omedelbara belöningar kan förbise långsiktiga fördelar. För att hantera detta introducerar vi begreppet avkastning.

Definition

Avkastning $G$ är den totala ackumulerade belöningen som en agent erhåller från ett givet tillstånd och framåt, vilket inkluderar alla belöningar den kommer att få i framtiden, inte bara omedelbart.

Avkastningen är en bättre representation av hur bra ett visst tillstånd eller en viss handling är på lång sikt. Målet med förstärkningsinlärning kan nu definieras som att maximera avkastningen.

Om $T$ är det sista tidssteget, ser formeln för avkastning ut så här:

G_t = R_{t+1} + R_{t+2} + R_{t+3} + ... + R_T

Diskontering

Medan enkel avkastning fungerar som ett bra mål i episodiska uppgifter, uppstår ett problem i kontinuerliga uppgifter. Om antalet tidssteg är oändligt, kan avkastningen själv bli oändlig. För att hantera detta används en diskonteringsfaktor för att säkerställa att framtida belöningar ges mindre vikt, vilket förhindrar att avkastningen blir oändlig.

Definition

Diskonteringsfaktor $\gamma$ är en multiplikativ faktor som används för att bestämma nuvärdet av framtida belöningar. Den varierar mellan 0 och 1, där ett värde närmare 0 får agenten att prioritera omedelbara belöningar, medan ett värde närmare 1 gör att agenten tar större hänsyn till framtida belöningar.

Return kombinerad med en diskonteringsfaktor kallas diskonterad return.

Formeln för diskonterad return ser ut så här:

G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... = \sum_{k=0}^\infty \gamma^k R_{t+k+1}

Studera vidare

Även i episodiska uppgifter ger användningen av en diskonteringsfaktor praktiska fördelar: det motiverar agenten att nå sitt mål så snabbt som möjligt, vilket leder till mer effektivt beteende. Av denna anledning tillämpas diskontering ofta även i tydligt episodiska sammanhang.

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 1. Kapitel 4

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal

Kursinnehåll

Introduktion till Förstärkningsinlärning

1. RL Kärnteori

2. Multi-Armed Bandit-Problemet

Probleminledning Aktionsvärden Epsilon-Girig Algoritm Algoritm för Övre Konfidensgräns Gradientbanditalgoritm Utmaning: Multi-Armed Bandits

3. Dynamisk Programmering

4. Monte Carlo-metoder

5. Temporär Differensinlärning

Episoder och Belöningar

Uppgiftens längd

RL-uppgifter kategoriseras vanligtvis som episodiska eller kontinuerliga, beroende på hur inlärningsprocessen är strukturerad över tid.

Definition

Episodiska uppgifter är sådana som består av en ändlig sekvens av tillstånd, handlingar och belöningar, där agentens interaktion med miljön är uppdelad i särskilda episoder.

Avkastning

Definition

Om $T$ är det sista tidssteget, ser formeln för avkastning ut så här:

G_t = R_{t+1} + R_{t+2} + R_{t+3} + ... + R_T

Diskontering

Definition

Return kombinerad med en diskonteringsfaktor kallas diskonterad return.

Formeln för diskonterad return ser ut så här:

G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... = \sum_{k=0}^\infty \gamma^k R_{t+k+1}

Studera vidare

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 1. Kapitel 4