Iterazione Generalizzata delle Politiche
Scorri per mostrare il menu
Nei capitoli precedenti, hai appreso la valutazione della policy e il miglioramento della policy. Questi processi si completano a vicenda e si combinano naturalmente in un quadro noto come generalized policy iteration.
Generalized policy iteration (GPI) è un quadro in cui la valutazione della policy e il miglioramento della policy interagiscono iterativamente con l'obiettivo comune di determinare una policy ottimale.
La maggior parte dei metodi di reinforcement learning può essere descritta all'interno del quadro della GPI. Le principali differenze tra questi metodi derivano dalle implementazioni specifiche della valutazione e del miglioramento della policy, così come dalla natura delle loro interazioni.
Interazione tra due processi
La valutazione della policy e il miglioramento della policy possono essere considerati sia processi cooperativi che competitivi, a seconda della prospettiva:
- Cooperativi: entrambi i processi lavorano verso un obiettivo comune—trovare la policy ottimale e la funzione di valore ottimale. La valutazione della policy stima la funzione di valore per una data policy, mentre il miglioramento della policy affina la policy sulla base di queste stime;
- Competitivi: ciascun processo ha obiettivi contrastanti. La valutazione della policy mira a stimare accuratamente la funzione di valore per la policy corrente, spesso facendo sì che la policy non sia più greedy. Al contrario, il miglioramento della policy adatta la policy affinché sia greedy rispetto alle stime attuali della funzione di valore, tipicamente rendendo tali stime non corrette. Questo costante tira e molla continua fino a quando sia la policy che la funzione di valore convergono alle loro forme ottimali.
Riepilogo
L'iterazione generalizzata delle politiche è un quadro utile per comprendere come diversi metodi di reinforcement learning affrontano la risoluzione degli MDP. Nei prossimi capitoli, verrà esplorato come queste idee possano essere applicate per creare due metodi fondamentali di programmazione dinamica: policy iteration e value iteration.
Grazie per i tuoi commenti!
Chieda ad AI
Chieda ad AI
Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione
Iterazione Generalizzata delle Politiche
Nei capitoli precedenti, hai appreso la valutazione della policy e il miglioramento della policy. Questi processi si completano a vicenda e si combinano naturalmente in un quadro noto come generalized policy iteration.
Generalized policy iteration (GPI) è un quadro in cui la valutazione della policy e il miglioramento della policy interagiscono iterativamente con l'obiettivo comune di determinare una policy ottimale.
La maggior parte dei metodi di reinforcement learning può essere descritta all'interno del quadro della GPI. Le principali differenze tra questi metodi derivano dalle implementazioni specifiche della valutazione e del miglioramento della policy, così come dalla natura delle loro interazioni.
Interazione tra due processi
La valutazione della policy e il miglioramento della policy possono essere considerati sia processi cooperativi che competitivi, a seconda della prospettiva:
- Cooperativi: entrambi i processi lavorano verso un obiettivo comune—trovare la policy ottimale e la funzione di valore ottimale. La valutazione della policy stima la funzione di valore per una data policy, mentre il miglioramento della policy affina la policy sulla base di queste stime;
- Competitivi: ciascun processo ha obiettivi contrastanti. La valutazione della policy mira a stimare accuratamente la funzione di valore per la policy corrente, spesso facendo sì che la policy non sia più greedy. Al contrario, il miglioramento della policy adatta la policy affinché sia greedy rispetto alle stime attuali della funzione di valore, tipicamente rendendo tali stime non corrette. Questo costante tira e molla continua fino a quando sia la policy che la funzione di valore convergono alle loro forme ottimali.
Riepilogo
L'iterazione generalizzata delle politiche è un quadro utile per comprendere come diversi metodi di reinforcement learning affrontano la risoluzione degli MDP. Nei prossimi capitoli, verrà esplorato come queste idee possano essere applicate per creare due metodi fondamentali di programmazione dinamica: policy iteration e value iteration.
Grazie per i tuoi commenti!
