Summary  
This chapter covers the exploration vs exploitation trade-off in algorithmic decision-making, detailing how an agent balances gathering new information (exploration) against leveraging known options for immediate reward (exploitation).

General domain of usage  
Online recommendations

Das **Exploration-vs-Exploitation**-Problem ist ein grundlegendes Dilemma im Reinforcement Learning. Es tritt auf, wenn ein Agent zwischen zwei konkurrierenden Strategien wählen muss:

1. **Exploration**: Ausprobieren neuer Optionen, um mehr Informationen zu sammeln, auch wenn die unmittelbare Belohnung unsicher ist;
2. **Exploitation**: Auswahl der am besten bekannten Option auf Basis vergangener Erfahrungen, um den unmittelbaren Gewinn zu maximieren.

Dieses Problem tritt in Szenarien auf, in denen Entscheidungen zukünftige Ergebnisse beeinflussen. Wenn ein Agent nur **ausnutzt**, was er bereits weiß, kann er bessere Möglichkeiten verpassen. Andererseits kann übermäßige **Erkundung** zu unnötigen Risiken oder verschwendeten Ressourcen führen, ohne bessere Ergebnisse zu garantieren.

- **Online-Empfehlungen**: Ein Streaming-Dienst kann entweder einen beliebten Film empfehlen **(Ausnutzung)** oder einen weniger bekannten Film vorschlagen, um mehr über die Vorlieben eines Nutzers zu erfahren **(Erkundung)**;
- **Produktentwicklung**: Ein Unternehmen kann sich darauf konzentrieren, ein bereits erfolgreiches Produkt weiter zu verbessern **(Ausnutzung)** oder in die Entwicklung völlig neuer Produkte oder Funktionen investieren **(Erkundung)**;
- **Anlagestrategien**: Ein Börsenhändler muss entscheiden, ob er in gut laufende Aktien investiert **(Ausnutzung)** oder mit neuen Investitionen experimentiert, die möglicherweise höhere Renditen bringen **(Erkundung)**.

Die Schwierigkeit besteht darin, diese beiden Strategien effektiv auszubalancieren. Zu viel **Exploitation** kann zu suboptimalen langfristigen Gewinnen führen, während übermäßige **Exploration** ineffizient und kostspielig sein kann. Entscheidend ist es, ein optimales Gleichgewicht zu finden, das langfristige Vorteile maximiert und Risiken minimiert.

Es gibt verschiedene Methoden, um **Exploration** und **Exploitation** auszubalancieren, jedoch kann jedes Problem einen **individuellen Ansatz** erfordern. Dabei sollten Faktoren wie die Belohnungsstruktur, die Änderungsrate der Umgebung und das Maß an Unsicherheit über die Konsequenzen verschiedener Aktionen berücksichtigt werden.


Hinweis

Sie trainieren einen Reinforcement-Learning-Agenten, der ein Labyrinth durchqueren soll. Nach sehr langer Zeit hat er gelernt, das Labyrinth zuverlässig zu verlassen, aber der von ihm gewählte Weg ist weit von optimal entfernt. Was würden Sie tun?

Reinforcement Learning (RL) ist ein leistungsstarker Zweig des maschinellen Lernens, der sich auf das Training intelligenter Agenten durch Interaktion mit ihrer Umgebung konzentriert. In diesem Kurs lernen Sie, wie Agenten durch Versuch und Irrtum schrittweise effektive Verhaltensweisen entdecken. Beginnend mit grundlegenden Konzepten wie Markow-Entscheidungsprozessen und Multi-Armed Bandits arbeiten Sie sich durch dynamische Programmierung, Monte-Carlo-Methoden und Temporal-Difference-Lernen.

Erfahren Sie, wie Agenten durch Versuch und Irrtum optimale Entscheidungen treffen. Erkunden Sie die Grundlagen der Theorie des Reinforcement Learning. Praktische Erfahrung mit der Einrichtung und Ausführung einer Gymnasium-Umgebung.

Beherrschung des Erkundungs-Ausnutzungs-Dilemmas anhand des Multi-Armed-Bandit-Problems. Implementierung von Aktionswertschätzung, ε-gierigen, Upper-Confidence-Bound- und Gradient-Bandit-Methoden. Bewertung der Leistungsfähigkeit von Algorithmen bei simulierten Aufgaben zur Belohnungsmaximierung.

Dynamische Programmierung für modellbasiertes RL beherrschen. Entdecken, wie Bellman-Gleichungen zur Bewertung und Verbesserung von Policies eingesetzt werden können. Implementierung von Policy- und Value-Iteration-Algorithmen. Untersuchung der generalisierten Policy-Iteration als theoretische Grundlage für modellfreie Methoden.

Monte-Carlo-Methoden für modellfreies RL beherrschen.
Schätzverfahren für Wertfunktionen und Ableitung optimaler Politiken aus vollständigen Episoden.
Implementierung von On-Policy- und Off-Policy-Monte-Carlo-Kontrollalgorithmen.
Erkundungsstrategien zur Optimierung des modellfreien Lernens entdecken.

Beherrschung des Zeitdifferenzlernens für modellfreies RL. Schätzung von Wertfunktionen aus Teilfolgen mithilfe von TD(0)-Aktualisierungen. Implementierung der On-Policy-SARSA- und Off-Policy-Q-Learning-Algorithmen. Kombination von Monte-Carlo-Methoden und Zeitdifferenzlernen in n-Schritt-TD und TD(λ) entdecken.

Erkundung vs. Ausnutzung

Der Zielkonflikt

Praxisbeispiele

Die Herausforderung