Summary  
This chapter covers the exploration vs exploitation trade-off in algorithmic decision-making, detailing how an agent balances gathering new information (exploration) against leveraging known options for immediate reward (exploitation).

General domain of usage  
Online recommendations

Il problema **esplorazione vs sfruttamento** è un dilemma fondamentale nell'apprendimento per rinforzo. Si presenta quando un agente deve scegliere tra due strategie in competizione:

1. **Esplorazione**: provare nuove opzioni per raccogliere più informazioni, anche se la ricompensa immediata è incerta;
2. **Sfruttamento**: scegliere l'opzione migliore conosciuta in base alle esperienze passate per massimizzare le ricompense immediate.

Questo problema si presenta in scenari in cui le decisioni influenzano i risultati futuri. Se un agente si limita a **sfruttare** ciò che conosce, potrebbe perdere opportunità migliori. Al contrario, un'eccessiva **esplorazione** può comportare rischi inutili o spreco di risorse senza garantire risultati migliori.

- **Raccomandazioni online**: un servizio di streaming può raccomandare un film popolare **(sfruttamento)** oppure suggerire un film meno conosciuto per apprendere le preferenze dell'utente **(esplorazione)**;
- **Sviluppo di prodotti**: un'azienda può concentrarsi sul miglioramento di un prodotto popolare che ha avuto successo costante sul mercato **(sfruttamento)** oppure investire nello sviluppo di nuovi prodotti o funzionalità **(esplorazione)**;
- **Strategie di investimento**: un trader deve decidere se investire in azioni già performanti **(sfruttamento)** oppure sperimentare nuovi investimenti che potrebbero offrire rendimenti più elevati **(esplorazione)**.

La difficoltà consiste nel bilanciare efficacemente queste due strategie. Un'eccessiva **sfruttamento** può portare a guadagni subottimali nel lungo termine, mentre un'eccessiva **esplorazione** può risultare inefficiente e costosa. La chiave è trovare un equilibrio ottimale che massimizzi i benefici a lungo termine minimizzando i rischi.

Sebbene esistano diversi metodi per bilanciare **esplorazione** e **sfruttamento**, ogni problema può richiedere un **approccio personalizzato**, considerando fattori come la struttura delle ricompense, il tasso di cambiamento dell'ambiente e il livello di incertezza riguardo alle conseguenze delle diverse azioni.


Nota

Stai addestrando un agente di reinforcement learning a navigare in un labirinto. Dopo molto tempo, ha imparato a uscire dal labirinto in modo affidabile, ma il percorso che segue è tutt'altro che ottimale. Cosa faresti?

Il Reinforcement Learning (RL) è un ramo avanzato del machine learning focalizzato sull’addestramento di agenti intelligenti tramite l’interazione con l’ambiente. In questo corso apprenderai come gli agenti scoprono gradualmente comportamenti efficaci attraverso il metodo del tentativo ed errore. A partire da concetti fondamentali come i processi decisionali di Markov e i multi-armed bandit, affronterai la programmazione dinamica, i metodi Monte Carlo e l’apprendimento a differenza temporale.

Scopri come addestrare agenti a prendere decisioni ottimali tramite tentativi ed errori. Esplora i principi fondamentali della teoria dell'apprendimento per rinforzo. Acquisisci esperienza pratica nell'impostazione e nell'esecuzione di un ambiente Gymnasium.

Apprendimento del compromesso esplorazione-sfruttamento tramite il problema del multi-armed bandit. Implementazione della stima del valore d'azione, metodi ε-greedy, upper confidence bound e gradient-bandit. Valutazione delle prestazioni degli algoritmi su compiti simulati di massimizzazione della ricompensa.

Padronanza della programmazione dinamica per RL basato su modello. Scoperta dell'utilizzo delle equazioni di Bellman per valutare e migliorare le politiche. Implementazione degli algoritmi di iterazione delle politiche e dei valori. Esplorazione dell'iterazione generalizzata delle politiche come fondamento teorico per i metodi senza modello.

Padronanza dei metodi Monte Carlo per RL senza modello.
Stima delle funzioni di valore e derivazione di politiche ottimali da episodi completi.
Implementazione di algoritmi di controllo Monte Carlo on-policy e off-policy.
Esplorazione di strategie di esplorazione per ottimizzare l'apprendimento senza modello.

Apprendimento a differenza temporale per RL senza modello. Stima delle funzioni di valore da episodi parziali utilizzando aggiornamenti TD(0). Implementazione degli algoritmi SARSA on-policy e Q-Learning off-policy. Analisi della combinazione tra metodi Monte Carlo e apprendimento TD in n-step TD e TD(λ).

Esplorazione vs Sfruttamento

Il compromesso

Esempi reali

La sfida