Summary  
This chapter explains the policy iteration algorithm, which alternates between fully evaluating a given policy’s value function and greedily improving the policy based on that value until convergence.

General domain of usage  
Reinforcement learning

Die Idee hinter der **Policy Iteration** ist einfach:
1. Wähle eine anfängliche $$\pi$$ und $$v$$;
2. Verwende die Policy-Bewertung, um $$v$$ zu aktualisieren, bis es mit $$\pi$$ konsistent ist;
3. Verwende die Policy-Verbesserung, um $$\pi$$ zu aktualisieren, bis sie bezüglich $$v$$ gierig ist;
4. Wiederhole die Schritte 2-3 bis zur Konvergenz.

Bei dieser Methode gibt es **keine partiellen Aktualisierungen**:
- Während der **Policy-Bewertung** werden die Werte für jeden Zustand aktualisiert, bis sie mit der aktuellen Policy übereinstimmen;
- Während der **Policy-Verbesserung** wird die Policy bezüglich der Wertfunktion gierig gemacht.

Basierend auf dem Pseudocode: Welche Bedingung führt dazu, dass die äußere Schleife der Policy Iteration stoppt?

Reinforcement Learning (RL) ist ein leistungsstarker Zweig des maschinellen Lernens, der sich auf das Training intelligenter Agenten durch Interaktion mit ihrer Umgebung konzentriert. In diesem Kurs lernen Sie, wie Agenten durch Versuch und Irrtum schrittweise effektive Verhaltensweisen entdecken. Beginnend mit grundlegenden Konzepten wie Markow-Entscheidungsprozessen und Multi-Armed Bandits arbeiten Sie sich durch dynamische Programmierung, Monte-Carlo-Methoden und Temporal-Difference-Lernen.

In diesem Abschnitt werden die grundlegenden Prinzipien des Reinforcement Learning vorgestellt, einschließlich seiner charakteristischen Merkmale, mathematischen Grundlagen und der Art und Weise, wie Agenten durch Interaktion und Rückmeldung lernen. Zudem erfolgt eine praktische Einführung in wichtige Werkzeuge zur Vorbereitung auf die Entwicklung und das Training erster RL-Agenten.

In diesem Abschnitt wird das Multi-Armed-Bandit-Problem behandelt – ein hervorragendes Beispiel zur Veranschaulichung des Dilemmas zwischen Exploration und Exploitation. Es werden Algorithmen vorgestellt und implementiert, die Agenten bei Entscheidungen unter Unsicherheit unterstützen, indem sie die Maximierung der Belohnung mit dem Erfordernis der Exploration ausbalancieren.

Dieser Abschnitt führt die dynamische Programmierung als leistungsstarke Methode zur Lösung von Reinforcement-Learning-Problemen ein, wenn ein vollständiges Modell der Umgebung verfügbar ist. Sie lernen, wie Politiken mithilfe der Bellman-Gleichungen bewertet und verbessert werden, und erkunden zentrale Techniken wie Policy Iteration, Value Iteration und Generalized Policy Iteration – als theoretische Grundlage für zukünftige modellfreie Methoden.

In diesem Abschnitt werden Monte-Carlo-Methoden zur Erlernung von Wertfunktionen und Strategien aus vollständigen Episoden von Erfahrungen vorgestellt. Es werden sowohl On-Policy- als auch Off-Policy-Ansätze behandelt, der Einfluss von Exploration auf das Lernen erläutert und inkrementelle Techniken zur effizienten Schätzung von Erträgen implementiert – alles ohne ein Modell der Umgebung zu benötigen.

Dieser Abschnitt führt in das Temporal-Differenz-(TD)-Lernen ein, eine grundlegende Methode im Reinforcement Learning, die Konzepte aus Monte-Carlo-Methoden und dynamischer Programmierung vereint. Es wird erläutert, wie Wertfunktionen aus unvollständigen Episoden geschätzt werden, sowohl On-Policy- (SARSA) als auch Off-Policy-Ansätze (Q-Learning) behandelt und aufgezeigt, wie Monte-Carlo-Methoden und TD-Lernen kombiniert werden können.

Politikiteration

Pseudocode

Awesome!

Politikiteration

Pseudocode