Episoden und Erträge
Swipe um das Menü anzuzeigen
Die Länge einer Aufgabe
RL-Aufgaben werden typischerweise als episodisch oder kontinuierlich kategorisiert, abhängig davon, wie der Lernprozess über die Zeit strukturiert ist.
Episode ist eine vollständige Abfolge von Interaktionen zwischen dem Agenten und der Umgebung, beginnend mit einem Anfangszustand und fortschreitend durch eine Reihe von Übergängen, bis ein Endzustand erreicht wird.
Episodische Aufgaben sind solche, die aus einer endlichen Abfolge von Zuständen, Aktionen und Belohnungen bestehen, wobei die Interaktion des Agenten mit der Umgebung in einzelne Episoden unterteilt ist.
Im Gegensatz dazu haben kontinuierliche Aufgaben keinen klaren Abschluss jedes Interaktionszyklus. Der Agent interagiert fortlaufend mit der Umgebung ohne Zurücksetzen in einen Anfangszustand, und der Lernprozess ist fortwährend, häufig ohne einen eindeutigen Endpunkt.
Return
Es ist bereits bekannt, dass das Hauptziel des Agenten darin besteht, die kumulierten Belohnungen zu maximieren. Während die Belohnungsfunktion sofortige Belohnungen liefert, berücksichtigt sie keine zukünftigen Ergebnisse, was problematisch sein kann. Ein Agent, der ausschließlich darauf trainiert wird, unmittelbare Belohnungen zu maximieren, könnte langfristige Vorteile übersehen. Um dieses Problem zu lösen, wird das Konzept des Returns eingeführt.
Return G ist die gesamte akkumulierte Belohnung, die ein Agent von einem gegebenen Zustand an erhält und die alle zukünftigen Belohnungen umfasst, nicht nur die unmittelbaren.
Der Return ist eine bessere Darstellung dafür, wie gut ein bestimmter Zustand oder eine Aktion langfristig ist. Das Ziel des Reinforcement Learnings kann nun als Maximierung des Returns definiert werden.
Wenn T der letzte Zeitschritt ist, sieht die Formel für die Rückgabe wie folgt aus:
Gt=Rt+1+Rt+2+Rt+3+...+RTAbzinsung
Während die einfache Rückgabe ein gutes Ziel bei episodischen Aufgaben darstellt, tritt bei kontinuierlichen Aufgaben ein Problem auf. Ist die Anzahl der Zeitschritte unendlich, kann auch die Rückgabe selbst unendlich werden. Um dies zu vermeiden, wird ein Abzinsungsfaktor verwendet, der dafür sorgt, dass zukünftige Belohnungen weniger stark gewichtet werden und die Rückgabe somit nicht unendlich wird.
Abzinsungsfaktor γ ist ein Multiplikationsfaktor, der verwendet wird, um den aktuellen Wert zukünftiger Belohnungen zu bestimmen. Er liegt zwischen 0 und 1, wobei ein Wert näher an 0 dazu führt, dass der Agent unmittelbare Belohnungen bevorzugt, während ein Wert näher an 1 dazu führt, dass der Agent zukünftige Belohnungen stärker berücksichtigt.
Return kombiniert mit einem Abzinsungsfaktor wird als abgezinster Return bezeichnet.
Die Formel für den abgezinsten Return sieht wie folgt aus:
Gt=Rt+1+γRt+2+γ2Rt+3+...=k=0∑∞γkRt+k+1
Selbst bei episodischen Aufgaben bietet die Verwendung eines Abzinsungsfaktors praktische Vorteile: Er motiviert den Agenten, sein Ziel so schnell wie möglich zu erreichen, was zu effizienterem Verhalten führt. Aus diesem Grund wird das Abzinsen auch in eindeutig episodischen Szenarien häufig angewendet.
Danke für Ihr Feedback!
Fragen Sie AI
Fragen Sie AI
Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen
Episoden und Erträge
Die Länge einer Aufgabe
RL-Aufgaben werden typischerweise als episodisch oder kontinuierlich kategorisiert, abhängig davon, wie der Lernprozess über die Zeit strukturiert ist.
Episode ist eine vollständige Abfolge von Interaktionen zwischen dem Agenten und der Umgebung, beginnend mit einem Anfangszustand und fortschreitend durch eine Reihe von Übergängen, bis ein Endzustand erreicht wird.
Episodische Aufgaben sind solche, die aus einer endlichen Abfolge von Zuständen, Aktionen und Belohnungen bestehen, wobei die Interaktion des Agenten mit der Umgebung in einzelne Episoden unterteilt ist.
Im Gegensatz dazu haben kontinuierliche Aufgaben keinen klaren Abschluss jedes Interaktionszyklus. Der Agent interagiert fortlaufend mit der Umgebung ohne Zurücksetzen in einen Anfangszustand, und der Lernprozess ist fortwährend, häufig ohne einen eindeutigen Endpunkt.
Return
Es ist bereits bekannt, dass das Hauptziel des Agenten darin besteht, die kumulierten Belohnungen zu maximieren. Während die Belohnungsfunktion sofortige Belohnungen liefert, berücksichtigt sie keine zukünftigen Ergebnisse, was problematisch sein kann. Ein Agent, der ausschließlich darauf trainiert wird, unmittelbare Belohnungen zu maximieren, könnte langfristige Vorteile übersehen. Um dieses Problem zu lösen, wird das Konzept des Returns eingeführt.
Return G ist die gesamte akkumulierte Belohnung, die ein Agent von einem gegebenen Zustand an erhält und die alle zukünftigen Belohnungen umfasst, nicht nur die unmittelbaren.
Der Return ist eine bessere Darstellung dafür, wie gut ein bestimmter Zustand oder eine Aktion langfristig ist. Das Ziel des Reinforcement Learnings kann nun als Maximierung des Returns definiert werden.
Wenn T der letzte Zeitschritt ist, sieht die Formel für die Rückgabe wie folgt aus:
Gt=Rt+1+Rt+2+Rt+3+...+RTAbzinsung
Während die einfache Rückgabe ein gutes Ziel bei episodischen Aufgaben darstellt, tritt bei kontinuierlichen Aufgaben ein Problem auf. Ist die Anzahl der Zeitschritte unendlich, kann auch die Rückgabe selbst unendlich werden. Um dies zu vermeiden, wird ein Abzinsungsfaktor verwendet, der dafür sorgt, dass zukünftige Belohnungen weniger stark gewichtet werden und die Rückgabe somit nicht unendlich wird.
Abzinsungsfaktor γ ist ein Multiplikationsfaktor, der verwendet wird, um den aktuellen Wert zukünftiger Belohnungen zu bestimmen. Er liegt zwischen 0 und 1, wobei ein Wert näher an 0 dazu führt, dass der Agent unmittelbare Belohnungen bevorzugt, während ein Wert näher an 1 dazu führt, dass der Agent zukünftige Belohnungen stärker berücksichtigt.
Return kombiniert mit einem Abzinsungsfaktor wird als abgezinster Return bezeichnet.
Die Formel für den abgezinsten Return sieht wie folgt aus:
Gt=Rt+1+γRt+2+γ2Rt+3+...=k=0∑∞γkRt+k+1Selbst bei episodischen Aufgaben bietet die Verwendung eines Abzinsungsfaktors praktische Vorteile: Er motiviert den Agenten, sein Ziel so schnell wie möglich zu erreichen, was zu effizienterem Verhalten führt. Aus diesem Grund wird das Abzinsen auch in eindeutig episodischen Szenarien häufig angewendet.
Danke für Ihr Feedback!
