Summary  
This chapter covers the programming concept of the multi-armed bandit algorithm, illustrating how to implement a decision-making strategy that balances exploration and exploitation to maximize cumulative rewards from actions with unknown probability distributions.

General domain of usage  
Online advertising

Das **Multi-Armed Bandit (MAB) Problem** ist eine bekannte Herausforderung im Bereich des Reinforcement Learnings, der Entscheidungsfindung und der Wahrscheinlichkeitstheorie. Dabei wählt ein Agent wiederholt zwischen **mehreren Aktionen**, von denen jede eine Belohnung aus einer festen **Wahrscheinlichkeitsverteilung** bietet. Das Ziel ist es, die **Gesamtrendite** über eine feste Anzahl von **Zeitschritten** zu **maximieren**.

Der Begriff **„Multi-Armed Bandit“** stammt aus der Analogie zu einem Spielautomaten, der aufgrund seines Hebels oft als **„One-Armed Bandit“** bezeichnet wird. In diesem Szenario stellt man sich **mehrere Spielautomaten** oder einen Spielautomaten mit **mehreren Hebeln (Armen)** vor, wobei jeder Arm mit einer **eigenen Wahrscheinlichkeitsverteilung** für Belohnungen verbunden ist. Das Ziel ist es, die **Gesamtrendite** über eine begrenzte Anzahl von Versuchen durch die sorgfältige Auswahl des zu betätigenden Hebels zu **maximieren**.

Das **MAB-Problem** beschreibt die Herausforderung, **Exploration** und **Exploitation** auszubalancieren:

- **Exploration**: Verschiedene Hebel ausprobieren, um Informationen über deren Auszahlungen zu sammeln;
- **Exploitation**: Den aktuell vielversprechendsten Hebel wählen, um den unmittelbaren Gewinn zu maximieren.

Ein **naiver Ansatz** – das wiederholte Spielen eines einzelnen Hebels – kann zu **suboptimalen Erträgen** führen, wenn ein besserer Hebel existiert, der jedoch unerforscht bleibt. Umgekehrt kann **übermäßige Exploration** dazu führen, dass **Ressourcen** für Optionen mit geringer Belohnung verschwendet werden.

Obwohl das **MAB-Problem** ursprünglich im Glücksspielkontext entstand, findet es sich in **vielen Bereichen** wieder:
- **Online-Werbung**: Auswahl der besten Anzeige basierend auf Nutzerinteraktionen;
- **Klinische Studien**: Testen mehrerer Behandlungen zur Ermittlung der wirksamsten Option;
- **Empfehlungssysteme**: Ausspielen der relevantesten Inhalte für Nutzer.

Was ist die zentrale Herausforderung beim Multi-Armed-Bandit-Problem?

Reinforcement Learning (RL) ist ein leistungsstarker Zweig des maschinellen Lernens, der sich auf das Training intelligenter Agenten durch Interaktion mit ihrer Umgebung konzentriert. In diesem Kurs lernen Sie, wie Agenten durch Versuch und Irrtum schrittweise effektive Verhaltensweisen entdecken. Beginnend mit grundlegenden Konzepten wie Markow-Entscheidungsprozessen und Multi-Armed Bandits arbeiten Sie sich durch dynamische Programmierung, Monte-Carlo-Methoden und Temporal-Difference-Lernen.

Erfahren Sie, wie Agenten durch Versuch und Irrtum optimale Entscheidungen treffen. Erkunden Sie die Grundlagen der Theorie des Reinforcement Learning. Praktische Erfahrung mit der Einrichtung und Ausführung einer Gymnasium-Umgebung.

Beherrschung des Erkundungs-Ausnutzungs-Dilemmas anhand des Multi-Armed-Bandit-Problems. Implementierung von Aktionswertschätzung, ε-gierigen, Upper-Confidence-Bound- und Gradient-Bandit-Methoden. Bewertung der Leistungsfähigkeit von Algorithmen bei simulierten Aufgaben zur Belohnungsmaximierung.

Dynamische Programmierung für modellbasiertes RL beherrschen. Entdecken, wie Bellman-Gleichungen zur Bewertung und Verbesserung von Policies eingesetzt werden können. Implementierung von Policy- und Value-Iteration-Algorithmen. Untersuchung der generalisierten Policy-Iteration als theoretische Grundlage für modellfreie Methoden.

Monte-Carlo-Methoden für modellfreies RL beherrschen.
Schätzverfahren für Wertfunktionen und Ableitung optimaler Politiken aus vollständigen Episoden.
Implementierung von On-Policy- und Off-Policy-Monte-Carlo-Kontrollalgorithmen.
Erkundungsstrategien zur Optimierung des modellfreien Lernens entdecken.

Beherrschung des Zeitdifferenzlernens für modellfreies RL. Schätzung von Wertfunktionen aus Teilfolgen mithilfe von TD(0)-Aktualisierungen. Implementierung der On-Policy-SARSA- und Off-Policy-Q-Learning-Algorithmen. Kombination von Monte-Carlo-Methoden und Zeitdifferenzlernen in n-Schritt-TD und TD(λ) entdecken.

Problemeinführung

Ursprung des Problems

Die Herausforderung

Anwendungen in der realen Welt