Contenuti del Corso

Introduzione al Reinforcement Learning

1. Teoria Fondamentale dell'RL

Che cos'è l'RL?RL Rispetto ad Altri Paradigmi di Apprendimento Processo Decisionale di Markov Episodi e Ritorni Modello, Politica e Valori Esplorazione vs Sfruttamento Basi di Gymnasium Sfida: Configurazione di un Ambiente

2. Problema del Multi-Armed Bandit

Introduzione al Problema Valori d'Azione Algoritmo Epsilon-Greedy Algoritmo del Limite Superiore di Confidenza Algoritmo dei Banditi a Gradiente Sfida: Multi-Armed Banditi

3. Programmazione Dinamica

Che cos'è la programmazione dinamica?Equazioni di Bellman Condizioni di Ottimalità Valutazione della Policy Miglioramento della Policy Iterazione Generalizzata delle Politiche Iterazione delle Politiche Iterazione del Valore Sfida: Programmazione Dinamica

4. Metodi Monte Carlo

Cosa Sono i Metodi Monte Carlo?Stima della Funzione di Valore Controllo Monte Carlo Approcci di Esplorazione Controllo Monte Carlo On-Policy Controllo Monte Carlo Off-Policy Implementazioni Incrementali Sfida: Metodi Monte Carlo

5. Apprendimento a Differenza Temporale

Che cos'è l'Apprendimento a Differenza Temporale?TD(0): Stima della Funzione di Valore SARSA: Apprendimento TD On-Policy Q-Learning: Apprendimento TD Off-Policy Generalizzazione dell'Apprendimento TD Sfida: Apprendimento a Differenza Temporale

Modello, Politica e Valori

Modello

Definizione

Un modello è una rappresentazione dell'ambiente che definisce le probabilità di transizione tra stati e le ricompense attese per le azioni intraprese.

Gli algoritmi di apprendimento per rinforzo possono essere suddivisi in due categorie:

Basati su modello: in questo approccio, l'agente apprende o ha accesso a un modello dell'ambiente, che gli consente di simulare stati e ricompense futuri prima di intraprendere azioni. Questo permette all'agente di pianificare e prendere decisioni più informate;
Senza modello: in questo approccio, l'agente non dispone di un modello diretto dell'ambiente. Impara esclusivamente tramite l'interazione con l'ambiente, affidandosi al metodo di tentativi ed errori per scoprire le azioni migliori.

Nella pratica, gli ambienti con modelli espliciti sono rari, rendendo difficile per gli agenti affidarsi a strategie basate su modello. Di conseguenza, gli approcci senza modello sono diventati più diffusi e ampiamente studiati nella ricerca e nelle applicazioni di apprendimento per rinforzo.

Politica

Definizione

Politica $\pi$ è la strategia che un agente segue per decidere le proprie azioni in base allo stato attuale dell'ambiente.

Esistono due tipi di politiche:

Politica deterministica: l'agente seleziona sempre la stessa azione per uno stato dato;
Politica stocastica: l'agente seleziona le azioni in base a distribuzioni di probabilità.

Durante il processo di apprendimento, l'obiettivo dell'agente è trovare una politica ottimale. Una politica ottimale è quella che massimizza il ritorno atteso, guidando l'agente a prendere le migliori decisioni possibili in ogni stato dato.

Funzioni di valore

Le funzioni di valore sono fondamentali per comprendere come un agente valuta il potenziale di uno specifico stato o coppia stato-azione. Vengono utilizzate per stimare le future ricompense attese, aiutando l'agente a prendere decisioni informate.

Funzione di Valore di Stato

Definizione

Funzione di valore di stato $V$ (o $v$ ) è una funzione che fornisce il ritorno atteso dell'essere in uno stato particolare e seguire una politica specifica. Aiuta a valutare la desiderabilità degli stati.

Il valore di uno stato può essere espresso matematicamente come segue:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s\Biggr]

Funzione di valore stato-azione

Definizione

La funzione di valore stato-azione $Q$ (o $q$ ) è una funzione che fornisce il ritorno atteso dell'esecuzione di una determinata azione in uno stato specifico e del successivo seguito di una politica specifica. Aiuta a valutare la desiderabilità delle azioni negli stati.

La funzione di valore stato-azione è spesso chiamata anche funzione di valore azione.

Il valore di un'azione può essere espresso matematicamente come segue:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s, A_t = a\Biggr]

Relazione tra Modello, Politica e Funzioni di Valore

I concetti di modello, politica e funzioni di valore sono strettamente collegati, formando un quadro completo per la categorizzazione degli algoritmi di RL. Questo quadro è definito da due assi principali:

Obiettivo di apprendimento: questo asse rappresenta lo spettro degli algoritmi di RL in base alla loro dipendenza dalle funzioni di valore, dalle funzioni di politica o da una combinazione di entrambe;
Applicazione del modello: questo asse distingue gli algoritmi in base al fatto che utilizzino un modello dell'ambiente o apprendano esclusivamente tramite interazione.

Combinando queste dimensioni, è possibile classificare gli algoritmi di RL in categorie distinte, ciascuna con le proprie caratteristiche e casi d'uso ideali. Comprendere queste relazioni aiuta a selezionare l'algoritmo più appropriato per compiti specifici, garantendo processi di apprendimento e decisione efficienti.

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 1. Capitolo 5

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione

Contenuti del Corso

Introduzione al Reinforcement Learning

1. Teoria Fondamentale dell'RL

2. Problema del Multi-Armed Bandit

Introduzione al Problema Valori d'Azione Algoritmo Epsilon-Greedy Algoritmo del Limite Superiore di Confidenza Algoritmo dei Banditi a Gradiente Sfida: Multi-Armed Banditi

3. Programmazione Dinamica

4. Metodi Monte Carlo

5. Apprendimento a Differenza Temporale

Modello, Politica e Valori

Modello

Definizione

Un modello è una rappresentazione dell'ambiente che definisce le probabilità di transizione tra stati e le ricompense attese per le azioni intraprese.

Gli algoritmi di apprendimento per rinforzo possono essere suddivisi in due categorie:

Basati su modello: in questo approccio, l'agente apprende o ha accesso a un modello dell'ambiente, che gli consente di simulare stati e ricompense futuri prima di intraprendere azioni. Questo permette all'agente di pianificare e prendere decisioni più informate;
Senza modello: in questo approccio, l'agente non dispone di un modello diretto dell'ambiente. Impara esclusivamente tramite l'interazione con l'ambiente, affidandosi al metodo di tentativi ed errori per scoprire le azioni migliori.

Politica

Definizione

Politica $\pi$ è la strategia che un agente segue per decidere le proprie azioni in base allo stato attuale dell'ambiente.

Esistono due tipi di politiche:

Politica deterministica: l'agente seleziona sempre la stessa azione per uno stato dato;
Politica stocastica: l'agente seleziona le azioni in base a distribuzioni di probabilità.

Funzioni di valore

Funzione di Valore di Stato

Definizione

Il valore di uno stato può essere espresso matematicamente come segue:

\def\E{\operatorname{\mathbb{E}}} v_\pi(s) = \E_\pi[G_t | S_t = s] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s\Biggr]

Funzione di valore stato-azione

Definizione

La funzione di valore stato-azione è spesso chiamata anche funzione di valore azione.

Il valore di un'azione può essere espresso matematicamente come segue:

\def\E{\operatorname{\mathbb{E}}} q_\pi(s, a) = \E_\pi[G_t | S_t = s, A_t = a] = \E_\pi\Biggl[\sum_{k=0}^\infty \gamma^k R_{t+k+1} | S_t = s, A_t = a\Biggr]

Relazione tra Modello, Politica e Funzioni di Valore

Obiettivo di apprendimento: questo asse rappresenta lo spettro degli algoritmi di RL in base alla loro dipendenza dalle funzioni di valore, dalle funzioni di politica o da una combinazione di entrambe;
Applicazione del modello: questo asse distingue gli algoritmi in base al fatto che utilizzino un modello dell'ambiente o apprendano esclusivamente tramite interazione.

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 1. Capitolo 5