Contenuti del Corso

Introduzione al Reinforcement Learning

1. Teoria Fondamentale dell'RL

Che cos'è l'RL?RL Rispetto ad Altri Paradigmi di Apprendimento Processo Decisionale di Markov Episodi e Ritorni Modello, Politica e Valori Esplorazione vs Sfruttamento Basi di Gymnasium Sfida: Configurazione di un Ambiente

2. Problema del Multi-Armed Bandit

Introduzione al Problema Valori d'Azione Algoritmo Epsilon-Greedy Algoritmo del Limite Superiore di Confidenza Algoritmo dei Banditi a Gradiente Sfida: Multi-Armed Banditi

3. Programmazione Dinamica

Che cos'è la programmazione dinamica?Equazioni di Bellman Condizioni di Ottimalità Valutazione della Policy Miglioramento della Policy Iterazione Generalizzata delle Politiche Iterazione delle Politiche Iterazione del Valore Sfida: Programmazione Dinamica

4. Metodi Monte Carlo

Cosa Sono i Metodi Monte Carlo?Stima della Funzione di Valore Controllo Monte Carlo Approcci di Esplorazione Controllo Monte Carlo On-Policy Controllo Monte Carlo Off-Policy Implementazioni Incrementali Sfida: Metodi Monte Carlo

5. Apprendimento a Differenza Temporale

Che cos'è l'Apprendimento a Differenza Temporale?TD(0): Stima della Funzione di Valore SARSA: Apprendimento TD On-Policy Q-Learning: Apprendimento TD Off-Policy Generalizzazione dell'Apprendimento TD Sfida: Apprendimento a Differenza Temporale

SARSA: Apprendimento TD On-Policy

Proprio come nei metodi Monte Carlo, è possibile seguire il framework della generalized policy iteration (GPI) per passare dalla stima delle funzioni di valore all'apprendimento di politiche ottimali. Tuttavia, questo processo introduce una sfida ben nota: il compromesso tra esplorazione e sfruttamento. Allo stesso modo, esistono due approcci che si possono utilizzare: on-policy e off-policy. Iniziamo parlando del metodo on-policy — SARSA.

Definizione

SARSA è un algoritmo di controllo TD on-policy utilizzato per stimare la funzione di valore d'azione $q_\pi(s, a)$ . Aggiorna le sue stime in base all'azione effettivamente eseguita, rendendolo un algoritmo on-policy.

L'acronimo SARSA deriva dai cinque elementi chiave utilizzati nell'aggiornamento:

S: stato attuale $S_t$ ;
A: azione eseguita $A_t$ ;
R: ricompensa ricevuta $R_{t+1}$ ;
S: stato successivo $S_{t+1}$ ;
A: azione successiva $A_{t+1}$ .

Regola di aggiornamento

La regola di aggiornamento è simile alla TD(0), ma sostituisce la funzione di valore di stato con la funzione di valore d'azione:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma Q(S_{t+1}, A_{t+1}) - Q(S_t, A_t)\Bigr)

$A_{t+1}$ è l'azione che verrà effettivamente eseguita nel passo successivo, selezionata secondo la politica corrente. Questo significa che gli effetti dell'esplorazione sono incorporati nel processo di apprendimento.

Dopo ogni aggiornamento della funzione di valore d'azione, anche la politica viene aggiornata, permettendo all'agente di utilizzare immediatamente le nuove stime.

Pseudocodice

Quando utilizzare SARSA?

SARSA è preferibile quando:

Si lavora con ambienti ad alta stochasticità (ad esempio, superfici scivolose, transizioni inaffidabili);
Si accetta una convergenza più lenta in cambio di un comportamento più sicuro durante l'apprendimento.

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 5. Capitolo 3

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione