Was ist Zeitdifferenzielles Lernen?

Sowohl dynamische Programmierung als auch Monte-Carlo-Methoden bieten einige großartige Ansätze, weisen jedoch auch erhebliche Nachteile auf.

Dynamische Programmierung

Die dynamische Programmierung ermöglicht eine effiziente Berechnung der Zustandswertfunktion und die Ableitung einer optimalen Strategie daraus. Sie verwendet Bootstrapping – die Berechnung des aktuellen Zustandswerts auf Basis der Werte zukünftiger Zustände – um dies zu erreichen.

Obwohl das Konzept des Bootstrappings leistungsstark ist, weist die dynamische Programmierung zwei wesentliche Nachteile auf:

• Sie erfordert ein vollständiges und explizites Modell der Umgebung;
• Zustandswerte werden für jeden Zustand berechnet, selbst wenn sich der Zustand weit entfernt vom optimalen Pfad befindet.

Monte-Carlo-Methoden

Monte-Carlo-Methoden beheben die beiden Nachteile der dynamischen Programmierung:

• Sie benötigen kein Modell, da sie aus Erfahrungen lernen;
• Die Art und Weise, wie sie aus Erfahrungen lernen, schränkt die Exploration stärker ein, sodass unwichtige Zustände selten besucht werden.

Allerdings bringen sie einen neuen Nachteil mit sich – der Lernprozess findet erst nach Abschluss der Episode statt. Dies begrenzt die Anwendbarkeit von Monte-Carlo-Methoden auf kleine episodische Aufgaben, da größere Aufgaben eine absurd große Anzahl von Aktionen erfordern würden, bis die Episode abgeschlossen ist.

Temporale Differenz-Lernverfahren

Dadurch behebt das TD-Lernen die Hauptprobleme beider Methoden:

• Lernen aus Erfahrung löst das Problem des Modellbedarfs und das Problem großer Zustandsräume;
• Bootstrapping löst das Problem des episodischen Lernens.

Funktionsweise

TD-Lernen funktioniert durch eine einfache Schleife:

1. Schätzung des Werts: Der Agent beginnt mit einer anfänglichen Einschätzung, wie gut der aktuelle Zustand ist;
2. Ausführen einer Aktion: Er führt eine Aktion aus, erhält eine Belohnung und gelangt in einen neuen Zustand;
3. Aktualisierung der Schätzung: Mithilfe der Belohnung und des Werts des neuen Zustands passt der Agent seine ursprüngliche Schätzung leicht an, um sie genauer zu machen;
4. Wiederholung: Mit der Zeit baut der Agent durch Wiederholung dieser Schleife nach und nach bessere und genauere Wertschätzungen für verschiedene Zustände auf.

Vergleichstabelle