SARSA: On-Policy-TD-Lernen
Swipe um das Menü anzuzeigen
Wie bei den Monte-Carlo-Methoden kann das Generalized Policy Iteration (GPI)-Framework verwendet werden, um von der Schätzung von Wertfunktionen zum Erlernen optimaler Politiken überzugehen. Dieser Prozess bringt jedoch eine bekannte Herausforderung mit sich: den Trade-off zwischen Exploration und Exploitation. Ebenso gibt es zwei Ansätze, die verwendet werden können: On-Policy und Off-Policy. Zunächst wird die On-Policy-Methode — SARSA — betrachtet.
SARSA ist ein On-Policy-TD-Kontrollalgorithmus zur Schätzung der Aktionswertfunktion qπ(s,a). Die Aktualisierung der Schätzwerte erfolgt auf Basis der tatsächlich ausgeführten Aktion, wodurch es sich um einen On-Policy-Algorithmus handelt.
Das Akronym SARSA leitet sich von den fünf Schlüsselelementen ab, die beim Update verwendet werden:
- S: aktueller Zustand St;
- A: ausgeführte Aktion At;
- R: erhaltene Belohnung Rt+1;
- S: nächster Zustand St+1;
- A: nächste Aktion At+1.
Aktualisierungsregel
Die Aktualisierungsregel ähnelt der TD(0), wobei lediglich die Zustandswertfunktion durch die Aktionswertfunktion ersetzt wird:
Q(St,At)←Q(St,At)+α(Rt+1+γQ(St+1,At+1)−Q(St,At))Das At+1 ist die Aktion, die im nächsten Schritt tatsächlich ausgeführt wird, und sie wird gemäß der aktuellen Politik ausgewählt. Das bedeutet, dass die Auswirkungen der Exploration in den Lernprozess einfließen.
Nach jeder Aktualisierung der Aktionswertfunktion wird auch die Politik angepasst, sodass der Agent die neuen Schätzwerte sofort nutzen kann.
Pseudocode
Wann sollte SARSA verwendet werden?
SARSA ist vorzuziehen, wenn:
- Umgebungen mit hoher Stochastizität vorliegen (z. B. rutschige Oberflächen, unzuverlässige Übergänge);
- langsamere Konvergenz zugunsten eines sichereren Verhaltens während des Lernens akzeptiert wird.
Danke für Ihr Feedback!
Fragen Sie AI
Fragen Sie AI
Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen
SARSA: On-Policy-TD-Lernen
Wie bei den Monte-Carlo-Methoden kann das Generalized Policy Iteration (GPI)-Framework verwendet werden, um von der Schätzung von Wertfunktionen zum Erlernen optimaler Politiken überzugehen. Dieser Prozess bringt jedoch eine bekannte Herausforderung mit sich: den Trade-off zwischen Exploration und Exploitation. Ebenso gibt es zwei Ansätze, die verwendet werden können: On-Policy und Off-Policy. Zunächst wird die On-Policy-Methode — SARSA — betrachtet.
SARSA ist ein On-Policy-TD-Kontrollalgorithmus zur Schätzung der Aktionswertfunktion qπ(s,a). Die Aktualisierung der Schätzwerte erfolgt auf Basis der tatsächlich ausgeführten Aktion, wodurch es sich um einen On-Policy-Algorithmus handelt.
Das Akronym SARSA leitet sich von den fünf Schlüsselelementen ab, die beim Update verwendet werden:
- S: aktueller Zustand St;
- A: ausgeführte Aktion At;
- R: erhaltene Belohnung Rt+1;
- S: nächster Zustand St+1;
- A: nächste Aktion At+1.
Aktualisierungsregel
Die Aktualisierungsregel ähnelt der TD(0), wobei lediglich die Zustandswertfunktion durch die Aktionswertfunktion ersetzt wird:
Q(St,At)←Q(St,At)+α(Rt+1+γQ(St+1,At+1)−Q(St,At))Das At+1 ist die Aktion, die im nächsten Schritt tatsächlich ausgeführt wird, und sie wird gemäß der aktuellen Politik ausgewählt. Das bedeutet, dass die Auswirkungen der Exploration in den Lernprozess einfließen.
Nach jeder Aktualisierung der Aktionswertfunktion wird auch die Politik angepasst, sodass der Agent die neuen Schätzwerte sofort nutzen kann.
Pseudocode
Wann sollte SARSA verwendet werden?
SARSA ist vorzuziehen, wenn:
- Umgebungen mit hoher Stochastizität vorliegen (z. B. rutschige Oberflächen, unzuverlässige Übergänge);
- langsamere Konvergenz zugunsten eines sichereren Verhaltens während des Lernens akzeptiert wird.
Danke für Ihr Feedback!
