Reinforcement Learning (RL) ist ein leistungsstarker Zweig des maschinellen Lernens, der sich auf das Training intelligenter Agenten durch Interaktion mit ihrer Umgebung konzentriert. In diesem Kurs lernen Sie, wie Agenten durch Versuch und Irrtum schrittweise effektive Verhaltensweisen entdecken. Beginnend mit grundlegenden Konzepten wie Markow-Entscheidungsprozessen und Multi-Armed Bandits arbeiten Sie sich durch dynamische Programmierung, Monte-Carlo-Methoden und Temporal-Difference-Lernen.

In diesem Abschnitt werden die grundlegenden Prinzipien des Reinforcement Learning vorgestellt, einschließlich seiner charakteristischen Merkmale, mathematischen Grundlagen und der Art und Weise, wie Agenten durch Interaktion und Rückmeldung lernen. Zudem erfolgt eine praktische Einführung in wichtige Werkzeuge zur Vorbereitung auf die Entwicklung und das Training erster RL-Agenten.

In diesem Abschnitt wird das Multi-Armed-Bandit-Problem behandelt – ein hervorragendes Beispiel zur Veranschaulichung des Dilemmas zwischen Exploration und Exploitation. Es werden Algorithmen vorgestellt und implementiert, die Agenten bei Entscheidungen unter Unsicherheit unterstützen, indem sie die Maximierung der Belohnung mit dem Erfordernis der Exploration ausbalancieren.

Dieser Abschnitt führt die dynamische Programmierung als leistungsstarke Methode zur Lösung von Reinforcement-Learning-Problemen ein, wenn ein vollständiges Modell der Umgebung verfügbar ist. Sie lernen, wie Politiken mithilfe der Bellman-Gleichungen bewertet und verbessert werden, und erkunden zentrale Techniken wie Policy Iteration, Value Iteration und Generalized Policy Iteration – als theoretische Grundlage für zukünftige modellfreie Methoden.

In diesem Abschnitt werden Monte-Carlo-Methoden zur Erlernung von Wertfunktionen und Strategien aus vollständigen Episoden von Erfahrungen vorgestellt. Es werden sowohl On-Policy- als auch Off-Policy-Ansätze behandelt, der Einfluss von Exploration auf das Lernen erläutert und inkrementelle Techniken zur effizienten Schätzung von Erträgen implementiert – alles ohne ein Modell der Umgebung zu benötigen.

Dieser Abschnitt führt in das Temporal-Differenz-(TD)-Lernen ein, eine grundlegende Methode im Reinforcement Learning, die Konzepte aus Monte-Carlo-Methoden und dynamischer Programmierung vereint. Es wird erläutert, wie Wertfunktionen aus unvollständigen Episoden geschätzt werden, sowohl On-Policy- (SARSA) als auch Off-Policy-Ansätze (Q-Learning) behandelt und aufgezeigt, wie Monte-Carlo-Methoden und TD-Lernen kombiniert werden können.

Einführung in das Reinforcement Learning

Herausforderung: Dynamische Programmierung

Herausforderung

Einführung in das Reinforcement Learning

Herausforderung: Dynamische Programmierung

Herausforderung