Summary  
This chapter covers the programming concept of the multi-armed bandit algorithm, illustrating how to implement a decision-making strategy that balances exploration and exploitation to maximize cumulative rewards from actions with unknown probability distributions.

General domain of usage  
Online advertising

Het **multi-armed bandit (MAB) probleem** is een bekend vraagstuk binnen reinforcement learning, besluitvorming en waarschijnlijkheidstheorie. Hierbij kiest een agent herhaaldelijk tussen **meerdere acties**, die elk een beloning opleveren volgens een vaste **kansverdeling**. Het doel is om de **opbrengst te maximaliseren** over een vast aantal **tijdstappen**.

De term **"multi-armed bandit"** komt voort uit de analogie met een gokautomaat, vaak een **"one-armed bandit"** genoemd vanwege de hendel. Stel je in dit geval voor dat er **meerdere gokautomaten** zijn, of een gokautomaat met **meerdere hendels (armen)**, waarbij elke arm is gekoppeld aan een **specifieke kansverdeling** voor beloningen. Het doel is om de **opbrengst te maximaliseren** binnen een beperkt aantal pogingen door zorgvuldig te kiezen aan welke hendel wordt getrokken.

Het **MAB-probleem** omvat de uitdaging van het balanceren tussen **exploratie** en **exploitatie**:

- **Exploratie**: verschillende hendels proberen om informatie te verzamelen over hun uitbetalingen;
- **Exploitatie**: de hendel kiezen die op dit moment het beste lijkt om directe beloningen te maximaliseren.

Een **naïeve aanpak** — herhaaldelijk dezelfde hendel gebruiken — kan leiden tot **suboptimale opbrengsten** als er een betere hendel bestaat die niet wordt onderzocht. Omgekeerd kan **overmatige exploratie** **middelen verspillen** aan opties met lage beloning.

Hoewel het oorspronkelijk uit het gokken komt, verschijnt het **MAB-probleem** in **veel verschillende vakgebieden**:
- **Online adverteren**: het kiezen van de beste advertentie om te tonen op basis van gebruikersinteractie;
- **Klinische proeven**: het testen van meerdere behandelingen om de meest effectieve te vinden;
- **Aanbevelingssystemen**: het aanbieden van de meest relevante inhoud aan gebruikers.

Wat is de belangrijkste uitdaging in het multi-armed bandit probleem?

Reinforcement Learning (RL) is een krachtige tak van machine learning die zich richt op het trainen van intelligente agenten door interactie met hun omgeving. In deze cursus leer je hoe agenten geleidelijk effectieve gedragingen ontdekken via trial-and-error. Beginnend met kernconcepten zoals Markov-beslissingsprocessen en multi-armed bandits, werk je verder met dynamisch programmeren, Monte Carlo-methoden en temporal difference learning.

Ontdek hoe agenten getraind kunnen worden om optimale beslissingen te nemen via trial-and-error. Verken de essentiële theorie van reinforcement learning. Doe praktische ervaring op met het opzetten en uitvoeren van een Gymnasium-omgeving.

Beheers de exploratie-exploitatie-afweging via het multi-armed bandit probleem. Implementeer actie-waarde schatting, ε-greedy, upper confidence bound en gradient-bandit methoden. Evalueer de prestaties van algoritmen op gesimuleerde beloningsmaximalisatietaken.

Beheers dynamisch programmeren voor modelgebaseerde RL. Ontdek hoe Bellman-vergelijkingen kunnen worden gebruikt om beleid te evalueren en te verbeteren. Implementeer algoritmen voor beleid- en waarde-iteratie. Verken gegeneraliseerde beleid-iteratie als het theoretische fundament voor modelvrije methoden.

Beheers Monte Carlo-methoden voor modelvrije RL. Waarde-functies schatten en optimale beleidslijnen afleiden uit volledige episodes. Implementatie van on-policy en off-policy Monte Carlo-controle-algoritmen. Ontdek verkenningsstrategieën om modelvrij leren te optimaliseren.

Beheers tijdverschil leren voor modelvrije RL. Waarde-functies schatten uit gedeeltelijke episodes met behulp van TD(0)-updates. Implementeer on-policy SARSA- en off-policy Q-Learning-algoritmen. Ontdek hoe Monte Carlo-methoden en TD-leren worden gecombineerd in n-staps TD en TD(λ).

Probleemintroductie

Oorsprong van het probleem

De Uitdaging

Toepassingen in de echte wereld