Kursinhalt

Einführung in das Reinforcement Learning

1. Kernprinzipien des RL

Was ist RL?RL Im Vergleich Zu Anderen Lernparadigmen Markow-Entscheidungsprozess Episoden und Erträge Modell, Politik und Werte Erkundung vs. Ausnutzung Grundlagen von Gymnasium Herausforderung: Einrichtung Einer Umgebung

2. Multi-Armed-Bandit-Problem

Problemeinführung Aktionswerte Epsilon-Greedy-Algorithmus Algorithmus der Oberen Vertrauensgrenze Gradient-Banditen-Algorithmus Herausforderung: Multi-Armed Bandits

3. Dynamische Programmierung

Was ist Dynamische Programmierung?Bellman-Gleichungen Optimalitätsbedingungen Politikbewertung Politikverbesserung Generalisierte Politikiteration Politikiteration Wertiteration Herausforderung: Dynamische Programmierung

4. Monte-Carlo-Methoden

Was Sind Monte-Carlo-Methoden?Schätzung der Wertfunktion Monte-Carlo-Kontrolle Erkundungsansätze On-Policy-Monte-Carlo-Steuerung Off-Policy-Monte-Carlo-Kontrolle Inkrementelle Implementierungen Herausforderung: Monte-Carlo-Methoden

5. Temporal-Differenz-Lernen

Was ist Zeitdifferenzielles Lernen?TD(0): Schätzung der Wertfunktion SARSA: On-Policy-TD-Lernen Q-Learning: Off-Policy-TD-Lernen Verallgemeinerung des TD-Lernens Herausforderung: Temporal-Difference-Learning

Politikverbesserung

Definition

Politikverbesserung ist ein Prozess zur Verbesserung der Politik auf Basis aktueller Schätzungen der Wertfunktion.

Hinweis

Wie bei der Politikevaluierung kann die Politikverbesserung sowohl mit der Zustandswertfunktion als auch mit der Aktionswertfunktion arbeiten. Für DP-Methoden wird jedoch die Zustandswertfunktion verwendet.

Nachdem nun die Zustandswertfunktion für eine beliebige Politik geschätzt werden kann, ist der nächste logische Schritt zu untersuchen, ob es Politiken gibt, die besser als die aktuelle sind. Eine Möglichkeit besteht darin, in einem Zustand $s$ eine andere Aktion $a$ auszuführen und anschließend der aktuellen Politik zu folgen. Falls dies bekannt vorkommt, liegt das daran, dass dies der Definition der Aktionswertfunktion entspricht:

q_\pi(s, a) = \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

Wenn dieser neue Wert größer ist als der ursprüngliche Zustandswert $v_\pi(s)$ , deutet dies darauf hin, dass das Ausführen der Aktion $a$ im Zustand $s$ und anschließendes Fortsetzen mit der Politik $\pi$ zu besseren Ergebnissen führt als das strikte Befolgen der Politik $\pi$ . Da die Zustände unabhängig sind, ist es optimal, immer die Aktion $a$ zu wählen, sobald der Zustand $s$ erreicht wird. Daher kann eine verbesserte Politik $\pi'$ konstruiert werden, die mit $\pi$ identisch ist, außer dass sie im Zustand $s$ die Aktion $a$ auswählt, was der ursprünglichen Politik $\pi$ überlegen wäre.

Satz zur Politikverbesserung

Die oben beschriebene Argumentation lässt sich als Satz zur Politikverbesserung verallgemeinern:

\begin{aligned} &q_\pi(s, \pi'(s)) \ge v_\pi(s) \qquad &\forall s \in S\\ \implies &v_{\pi'}(s) \ge v_\pi(s) \qquad &\forall s \in S \end{aligned}

Der Beweis dieses Theorems ist relativ einfach und kann durch eine wiederholte Substitution durchgeführt werden:

\def\E{\operatorname{\mathbb{E}}} \begin{aligned} v_\pi(s) &\le q_\pi(s, \pi'(s))\\ &= \E_{\pi'}[R_{t+1} + \gamma v_\pi(S_{t+1}) | S_t = s]\\ &\le \E_{\pi'}[R_{t+1} + \gamma q_\pi(S_{t+1}, \pi'(S_{t+1})) | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma \E_{\pi'}[R_{t+2} + \gamma v_\pi(S_{t+2})] | S_t = s]\\ &= \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 v_\pi(S_{t+2}) | S_t = s]\\ &...\\ &\le \E_{\pi'}[R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + ... | S_t = s]\\ &= v_{\pi'}(s) \end{aligned}

Verbesserungsstrategie

Das Aktualisieren von Aktionen für bestimmte Zustände kann zu Verbesserungen führen, jedoch ist es effektiver, die Aktionen für alle Zustände gleichzeitig zu aktualisieren. Für jeden Zustand $s$ wird dabei die Aktion $a$ gewählt, die den Aktionswert $q_\pi(s, a)$ maximiert:

\begin{aligned} \pi'(s) &\gets \argmax_a q_\pi(s, a)\\ &\gets \argmax_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr) \end{aligned}

wobei $\argmax$ (Abkürzung für Argument des Maximums) ein Operator ist, der den Wert der Variablen zurückgibt, der eine gegebene Funktion maximiert.

Die resultierende gierige Politik, bezeichnet als $\pi'$ , erfüllt durch ihre Konstruktion die Bedingungen des Policy-Improvement-Theorems und garantiert, dass $\pi'$ mindestens so gut wie die ursprüngliche Politik $\pi$ ist und typischerweise besser.

Falls $\pi'$ genauso gut wie, aber nicht besser als $\pi$ ist, dann sind sowohl $\pi'$ als auch $\pi$ optimale Politiken, da ihre Wertfunktionen gleich sind und die Bellman-Optimalitätsgleichung erfüllen:

v_\pi(s) = \max_a \sum_{s', r} p(s', r | s, a)\Bigl(r + \gamma v_\pi(s')\Bigr)

War alles klar?

Danke für Ihr Feedback!

Abschnitt 3. Kapitel 5

Fragen Sie AI

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen