Contenuti del Corso

Introduzione al Reinforcement Learning

1. Teoria Fondamentale dell'RL

Che cos'è l'RL?RL Rispetto ad Altri Paradigmi di Apprendimento Processo Decisionale di Markov Episodi e Ritorni Modello, Politica e Valori Esplorazione vs Sfruttamento Basi di Gymnasium Sfida: Configurazione di un Ambiente

2. Problema del Multi-Armed Bandit

Introduzione al Problema Valori d'Azione Algoritmo Epsilon-Greedy Algoritmo del Limite Superiore di Confidenza Algoritmo dei Banditi a Gradiente Sfida: Multi-Armed Banditi

3. Programmazione Dinamica

Che cos'è la programmazione dinamica?Equazioni di Bellman Condizioni di Ottimalità Valutazione della Policy Miglioramento della Policy Iterazione Generalizzata delle Politiche Iterazione delle Politiche Iterazione del Valore Sfida: Programmazione Dinamica

4. Metodi Monte Carlo

Cosa Sono i Metodi Monte Carlo?Stima della Funzione di Valore Controllo Monte Carlo Approcci di Esplorazione Controllo Monte Carlo On-Policy Controllo Monte Carlo Off-Policy Implementazioni Incrementali Sfida: Metodi Monte Carlo

5. Apprendimento a Differenza Temporale

Che cos'è l'Apprendimento a Differenza Temporale?TD(0): Stima della Funzione di Valore SARSA: Apprendimento TD On-Policy Q-Learning: Apprendimento TD Off-Policy Generalizzazione dell'Apprendimento TD Sfida: Apprendimento a Differenza Temporale

Miglioramento della Policy

Definizione

Miglioramento della policy è un processo di miglioramento della policy basato sulle stime attuali della funzione di valore.

Nota

Come per la valutazione della policy, il miglioramento della policy può lavorare sia con la funzione di valore di stato sia con la funzione di valore d'azione. Tuttavia, per i metodi DP, verrà utilizzata la funzione di valore di stato.

Ora che puoi stimare la funzione di valore di stato per qualsiasi policy, un passo successivo naturale è esplorare se esistono policy migliori di quella attuale. Un modo per farlo è considerare di intraprendere un'azione diversa $a$ in uno stato $s$ , e seguire la policy attuale successivamente. Se questo ti sembra familiare, è perché è simile a come definiamo la funzione di valore d'azione:

q_\pi(s, a) = \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Se questo nuovo valore è maggiore del valore originale dello stato $v_\pi(s)$ , indica che intraprendere l'azione $a$ nello stato $s$ e poi continuare con la politica $\pi$ porta a risultati migliori rispetto a seguire rigorosamente la politica $\pi$ . Poiché gli stati sono indipendenti, è ottimale selezionare sempre l'azione $a$ ogni volta che si incontra lo stato $s$ . Pertanto, possiamo costruire una politica migliorata $\pi'$ , identica a $\pi$ tranne per il fatto che seleziona l'azione $a$ nello stato $s$ , che sarebbe superiore alla politica originale $\pi$ .

Teorema di miglioramento della politica

Il ragionamento descritto sopra può essere generalizzato come il teorema di miglioramento della politica:

\begin{aligned} &q_\pi(s, \pi'(s)) \ge v_\pi(s) \qquad &\forall s \in S\\ \implies &v_{\pi'}(s) \ge v_\pi(s) \qquqquad &\forall s \in S \end{aligned}

La dimostrazione di questo teorema è relativamente semplice e può essere ottenuta tramite una sostituzione ripetuta:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &\le q_\pi(s, \pi'(s))\\ &= \E_{\pi'}[R_{t+1} + \gamma v_\pi(S_{t+1}) | S_t = s]\\ &\le \E_{\pi'}[R_{t+1} + \gamma q_\pi(S_{t+1}, \pi'(S_{t+1})) | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma \E_{\pi'}[R_{t+2} + \gamma v_\pi(S_{t+2})] | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 v_\pi(S_{t+2}) | S_t = s]\\ &...\\ &\le \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= v_{\pi'}(s) \end{aligned}

Strategia di miglioramento

Sebbene aggiornare le azioni per alcuni stati possa portare a dei miglioramenti, è più efficace aggiornare le azioni per tutti gli stati simultaneamente. In particolare, per ogni stato $s$ , selezionare l'azione $a$ che massimizza il valore d'azione $q_\pi(s, a)$ :

\begin{aligned} \pi'(s) &\gets \argmax_a q_\pi(s, a)\\ &\gets \argmax_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

dove $\argmax$ (abbreviazione di argomento del massimo) è un operatore che restituisce il valore della variabile che massimizza una data funzione.

La politica greedy risultante, indicata con $\pi'$ , soddisfa le condizioni del teorema di miglioramento della politica per costruzione, garantendo che $\pi'$ sia almeno valida quanto la politica originale $\pi$ , e tipicamente migliore.

Se $\pi'$ è valida quanto, ma non migliore di $\pi$ , allora sia $\pi'$ che $\pi$ sono politiche ottimali, poiché le loro funzioni di valore sono uguali e soddisfano l'equazione di ottimalità di Bellman:

v_\pi(s) = \max_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 3. Capitolo 5

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione