Policyiteration

Ideen bag policy iteration er enkel:

Vælg en initial $\pi$ og $v$ ;
Brug policy evaluation til at opdatere $v$ , indtil det er konsistent med $\pi$ ;
Brug policy improvement til at opdatere $\pi$ , indtil det er grådig i forhold til $v$ ;
Gentag trin 2-3 indtil konvergens.

I denne metode er der ingen delvise opdateringer:

Under policy evaluation opdateres værdierne for hver tilstand, indtil de er konsistente med den nuværende politik;
Under policy improvement gøres politikken grådig i forhold til værdifunktionen.

Pseudokode

Var alt klart?

Tak for dine kommentarer!

Sektion 3. Kapitel 7

Spørg AI

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat

Kursusindhold

Introduktion til Reinforcement Learning

1. RL Kerneprincipper

2. Multi-Armet Bandit-Problem

3. Dynamisk Programmering

4. Monte Carlo-metoder

5. Temporal Difference-Læring

Ideen bag policy iteration er enkel:

Vælg en initial $\pi$ og $v$ ;
Brug policy evaluation til at opdatere $v$ , indtil det er konsistent med $\pi$ ;
Brug policy improvement til at opdatere $\pi$ , indtil det er grådig i forhold til $v$ ;
Gentag trin 2-3 indtil konvergens.

I denne metode er der ingen delvise opdateringer:

Under policy evaluation opdateres værdierne for hver tilstand, indtil de er konsistente med den nuværende politik;
Under policy improvement gøres politikken grådig i forhold til værdifunktionen.

Var alt klart?

Tak for dine kommentarer!

Sektion 3. Kapitel 7