Contenuti del Corso

Introduzione al Reinforcement Learning

1. Teoria Fondamentale dell'RL

Che cos'è l'RL?RL Rispetto ad Altri Paradigmi di Apprendimento Processo Decisionale di Markov Episodi e Ritorni Modello, Politica e Valori Esplorazione vs Sfruttamento Basi di Gymnasium Sfida: Configurazione di un Ambiente

2. Problema del Multi-Armed Bandit

Introduzione al Problema Valori d'Azione Algoritmo Epsilon-Greedy Algoritmo del Limite Superiore di Confidenza Algoritmo dei Banditi a Gradiente Sfida: Multi-Armed Banditi

3. Programmazione Dinamica

Che cos'è la programmazione dinamica?Equazioni di Bellman Condizioni di Ottimalità Valutazione della Policy Miglioramento della Policy Iterazione Generalizzata delle Politiche Iterazione delle Politiche Iterazione del Valore Sfida: Programmazione Dinamica

4. Metodi Monte Carlo

Cosa Sono i Metodi Monte Carlo?Stima della Funzione di Valore Controllo Monte Carlo Approcci di Esplorazione Controllo Monte Carlo On-Policy Controllo Monte Carlo Off-Policy Implementazioni Incrementali Sfida: Metodi Monte Carlo

5. Apprendimento a Differenza Temporale

Che cos'è l'Apprendimento a Differenza Temporale?TD(0): Stima della Funzione di Valore SARSA: Apprendimento TD On-Policy Q-Learning: Apprendimento TD Off-Policy Generalizzazione dell'Apprendimento TD Sfida: Apprendimento a Differenza Temporale

Q-Learning: Apprendimento TD Off-Policy

L'apprendimento di una politica ottimale con SARSA può essere impegnativo. Simile al controllo Monte Carlo on-policy, richiede tipicamente una decadimento graduale di $\varepsilon$ nel tempo, avvicinandosi infine a zero per passare dall'esplorazione allo sfruttamento. Questo processo è spesso lento e può richiedere un tempo di addestramento esteso. Un'alternativa è utilizzare un metodo off-policy come il Q-learning.

Definizione

Q-learning è un algoritmo di controllo TD off-policy utilizzato per stimare la funzione di valore d'azione ottimale $q_*(s, a)$ . Aggiorna le sue stime in base all'azione migliore attuale, rendendolo un algoritmo off-policy.

Regola di aggiornamento

A differenza del controllo Monte Carlo off-policy, Q-learning non richiede il campionamento di importanza per correggere le differenze tra la policy di comportamento e quella target. Invece, si basa su una regola di aggiornamento diretta che assomiglia molto a SARSA, ma con una differenza fondamentale.

La regola di aggiornamento di Q-learning è:

Q(S_t, A_t) \gets Q(S_t, A_t) + \alpha \Bigl(R_{t+1} + \gamma \max_a Q(S_{t+1}, a) - Q(S_t, A_t)\Bigr)

L'unica differenza rispetto a SARSA riguarda il valore target. Invece di utilizzare il valore della prossima azione effettivamente eseguita, come fa SARSA:

\gamma Q(S_{t+1}, A_{t+1})

Q-learning utilizza il valore della migliore azione possibile successiva:

\gamma \max_a Q(S_{t+1}, a)

Questa modifica sottile ha un grande impatto: consente a Q-learning di valutare le azioni utilizzando una stima della policy ottimale, anche mentre l'agente sta ancora esplorando. Questo è ciò che lo rende un metodo off-policy — apprende riguardo alla policy greedy, indipendentemente dalle azioni scelte durante l'addestramento.

Quando utilizzare Q-Learning?

Q-learning è preferibile quando:

Si lavora con ambienti deterministici, o ambienti;
È necessaria una velocità di convergenza più elevata.

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 5. Capitolo 4

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione