Contenuti del Corso

Introduzione al Reinforcement Learning

1. Teoria Fondamentale dell'RL

Che cos'è l'RL?RL Rispetto ad Altri Paradigmi di Apprendimento Processo Decisionale di Markov Episodi e Ritorni Modello, Politica e Valori Esplorazione vs Sfruttamento Basi di Gymnasium Sfida: Configurazione di un Ambiente

2. Problema del Multi-Armed Bandit

Introduzione al Problema Valori d'Azione Algoritmo Epsilon-Greedy Algoritmo del Limite Superiore di Confidenza Algoritmo dei Banditi a Gradiente Sfida: Multi-Armed Banditi

3. Programmazione Dinamica

Che cos'è la programmazione dinamica?Equazioni di Bellman Condizioni di Ottimalità Valutazione della Policy Miglioramento della Policy Iterazione Generalizzata delle Politiche Iterazione delle Politiche Iterazione del Valore Sfida: Programmazione Dinamica

4. Metodi Monte Carlo

Cosa Sono i Metodi Monte Carlo?Stima della Funzione di Valore Controllo Monte Carlo Approcci di Esplorazione Controllo Monte Carlo On-Policy Controllo Monte Carlo Off-Policy Implementazioni Incrementali Sfida: Metodi Monte Carlo

5. Apprendimento a Differenza Temporale

Che cos'è l'Apprendimento a Differenza Temporale?TD(0): Stima della Funzione di Valore SARSA: Apprendimento TD On-Policy Q-Learning: Apprendimento TD Off-Policy Generalizzazione dell'Apprendimento TD Sfida: Apprendimento a Differenza Temporale

Episodi e Ritorni

La durata di un compito

I compiti nell'apprendimento per rinforzo sono generalmente classificati come episodici o continui, a seconda di come il processo di apprendimento è strutturato nel tempo.

Definizione

Episodio indica una sequenza completa di interazioni tra l'agente e l'ambiente, a partire da uno stato iniziale e proseguendo attraverso una serie di transizioni fino al raggiungimento di uno stato terminale.

Compiti episodici sono quelli che consistono in una sequenza finita di stati, azioni e ricompense, in cui l'interazione dell'agente con l'ambiente è suddivisa in episodi distinti.

Al contrario, i compiti continui non hanno una fine chiara per ogni ciclo di interazione. L'agente interagisce continuamente con l'ambiente senza reimpostare lo stato iniziale e il processo di apprendimento è continuo, spesso senza un punto terminale distinto.

Ritorno

Sai già che l'obiettivo principale dell'agente è massimizzare le ricompense cumulative. Sebbene la funzione di ricompensa fornisca ricompense istantanee, non tiene conto degli esiti futuri, il che può essere problematico. Un agente addestrato esclusivamente a massimizzare le ricompense immediate potrebbe trascurare i benefici a lungo termine. Per affrontare questo problema, introduciamo il concetto di ritorno.

Definizione

Ritorno $G$ è la ricompensa totale accumulata che un agente riceve da uno stato dato in poi, che incorpora tutte le ricompense che riceverà in futuro, non solo quelle immediate.

Il ritorno rappresenta meglio quanto sia vantaggioso uno stato o un'azione nel lungo periodo. L'obiettivo dell'apprendimento per rinforzo può ora essere definito come massimizzare il ritorno.

Se $T$ è l'ultimo passo temporale, la formula del ritorno è la seguente:

G_t = R_{t+1} + R_{t+2} + R_{t+3} + ... + R_T

Sconto

Sebbene il ritorno semplice sia un buon obiettivo nei compiti episodici, nei compiti continui si presenta un problema. Se il numero di passi temporali è infinito, il ritorno stesso può diventare infinito. Per gestire questa situazione, si utilizza un fattore di sconto per garantire che le ricompense future abbiano un peso minore, evitando che il ritorno diventi infinito.

Definizione

Il fattore di sconto $\gamma$ è un fattore moltiplicativo utilizzato per determinare il valore attuale delle ricompense future. Assume valori compresi tra 0 e 1, dove un valore vicino a 0 porta l'agente a dare priorità alle ricompense immediate, mentre un valore vicino a 1 fa sì che l'agente consideri maggiormente le ricompense future.

La ricompensa cumulativa combinata con un fattore di sconto è chiamata ricompensa scontata.

La formula per la ricompensa scontata è la seguente:

G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... = \sum_{k=0}^\infty \gamma^k R_{t+k+1}

Approfondisci

Anche nei compiti episodici, l'utilizzo di un fattore di sconto offre vantaggi pratici: motiva l'agente a raggiungere il proprio obiettivo il più rapidamente possibile, portando a un comportamento più efficiente. Per questo motivo, l'applicazione dello sconto è comune anche in contesti chiaramente episodici.

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 1. Capitolo 4

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione

Contenuti del Corso

Introduzione al Reinforcement Learning

1. Teoria Fondamentale dell'RL

2. Problema del Multi-Armed Bandit

Introduzione al Problema Valori d'Azione Algoritmo Epsilon-Greedy Algoritmo del Limite Superiore di Confidenza Algoritmo dei Banditi a Gradiente Sfida: Multi-Armed Banditi

3. Programmazione Dinamica

4. Metodi Monte Carlo

5. Apprendimento a Differenza Temporale

Episodi e Ritorni

La durata di un compito

I compiti nell'apprendimento per rinforzo sono generalmente classificati come episodici o continui, a seconda di come il processo di apprendimento è strutturato nel tempo.

Definizione

Compiti episodici sono quelli che consistono in una sequenza finita di stati, azioni e ricompense, in cui l'interazione dell'agente con l'ambiente è suddivisa in episodi distinti.

Ritorno

Definizione

Ritorno $G$ è la ricompensa totale accumulata che un agente riceve da uno stato dato in poi, che incorpora tutte le ricompense che riceverà in futuro, non solo quelle immediate.

Se $T$ è l'ultimo passo temporale, la formula del ritorno è la seguente:

G_t = R_{t+1} + R_{t+2} + R_{t+3} + ... + R_T

Sconto

Definizione

La ricompensa cumulativa combinata con un fattore di sconto è chiamata ricompensa scontata.

La formula per la ricompensa scontata è la seguente:

G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... = \sum_{k=0}^\infty \gamma^k R_{t+k+1}

Approfondisci

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 1. Capitolo 4