Policyiteration

Idén bakom policyiteration är enkel:

Välj en initial $\pi$ och $v$ ;
Använd policyevaluering för att uppdatera $v$ tills det är konsistent med $\pi$ ;
Använd policyförbättring för att uppdatera $\pi$ tills den är girig med avseende på $v$ ;
Upprepa steg 2-3 tills konvergens.

I denna metod sker inga partiella uppdateringar:

Under policyevaluering uppdateras värden för varje tillstånd tills de är konsistenta med aktuell policy;
Under policyförbättring görs policyn girig med avseende på värdefunktionen.

Pseudokod

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 3. Kapitel 7

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal

Kursinnehåll

Introduktion till Förstärkningsinlärning

1. RL Kärnteori

2. Multi-Armed Bandit-Problemet

3. Dynamisk Programmering

4. Monte Carlo-metoder

5. Temporär Differensinlärning

Idén bakom policyiteration är enkel:

Välj en initial $\pi$ och $v$ ;
Använd policyevaluering för att uppdatera $v$ tills det är konsistent med $\pi$ ;
Använd policyförbättring för att uppdatera $\pi$ tills den är girig med avseende på $v$ ;
Upprepa steg 2-3 tills konvergens.

I denna metod sker inga partiella uppdateringar:

Under policyevaluering uppdateras värden för varje tillstånd tills de är konsistenta med aktuell policy;
Under policyförbättring görs policyn girig med avseende på värdefunktionen.

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 3. Kapitel 7