Summary  
This chapter covers implementing, training, and evaluating two recurrent neural network architectures (LSTM and GRU) by defining their model structures, running training loops with measured execution time and loss metrics, and comparing their prediction performance through plotting.

General domain of usage  
Time series forecasting

Ein Vergleich, der die wichtigsten Unterschiede zwischen **Long Short-Term Memory (LSTM)** und **Gated Recurrent Unit (GRU)** Netzwerken hervorhebt.


Löst das Problem des verschwindenden Gradienten in RNNs, erfasst langfristige Abhängigkeiten.

Löst das Problem des verschwindenden Gradienten in RNNs, erfasst langfristige Abhängigkeiten mit einer einfacheren Struktur.

1. Forget Gate: entscheidet, welche Informationen verworfen werden;2. Input Gate: entscheidet, welche neuen Informationen gespeichert werden;3. Output Gate: entscheidet, welcher Teil des Zellzustands ausgegeben wird.

1. Reset Gate: entscheidet, wie viele vergangene Informationen vergessen werden;2. Update Gate: steuert die Aktualisierung des versteckten Zustands.

Verfügt über einen separaten Zellzustand (Langzeitspeicher).

Verfügt nicht über einen separaten Zellzustand. Es wird nur der versteckte Zustand zur Informationsübertragung genutzt.

Der Informationsfluss wird durch die drei Gates und einen separaten Zellzustand reguliert.

Der Informationsfluss wird durch die zwei Gates und den versteckten Zustand reguliert.

Komplexer aufgrund separatem Zell- und verstecktem Zustand sowie zusätzlichem Gate.

Einfacher als LSTM, was zu schnellerem Training und Inferenz führen kann.

Langsamer aufgrund der komplexeren Architektur.

Schneller durch weniger Parameter und einfachere Berechnungen.

Kann bei Aufgaben, die das Erlernen langfristiger Abhängigkeiten erfordern, besser abschneiden.

In vielen Aufgaben vergleichbar mit LSTM, manchmal besser bei kleineren Datensätzen.

Weit verbreitet in Spracherkennung, Sprachmodellierung, Zeitreihenprognose.

Ebenfalls in ähnlichen Aufgaben eingesetzt, oft gewählt bei begrenzten Rechenressourcen.

Mehr Parameter durch zusätzliches Gate und separaten Zellzustand.

Weniger Parameter, was das Risiko von Overfitting verringern und die Generalisierung verbessern kann.

Code für dieses Kapitel herunterladen

Beherrschung von Rekurrenten Neuronalen Netzen und deren fortgeschrittenen Varianten wie LSTMs und GRUs mit PyTorch. Praktische Erfahrung in der Verarbeitung sequentieller Daten für praxisnahe Anwendungen. Anwendung dieser leistungsstarken Modelle zur Lösung realer Herausforderungen in der Zeitreihenprognose und verschiedenen Aufgaben der natürlichen Sprachverarbeitung.

Behandelt die Einschränkungen traditioneller neuronaler Netze bei sequenziellen Daten und führt in die Grundlagen von Rekurrenten Neuronalen Netzen ein. Erläutert RNN-Architektur, Typen und die schrittweise Implementierung anhand grundlegender Beispiele und einer Programmieraufgabe.

Untersucht häufige Trainingsherausforderungen wie verschwindende und explodierende Gradienten. Stellt fortgeschrittene RNN-Varianten wie LSTM und GRU vor, hebt deren interne Mechanismen und Anwendungsfälle hervor und bietet praktische Implementierungsbeispiele für jede Variante.

Konzentriert sich auf die Verarbeitung und Prognose von Zeitreihendaten mithilfe von RNN-basierten Modellen. Beinhaltet das Laden von Daten, Vorverarbeitungstechniken, Modelltraining und Leistungsevaluierung, mit Schwerpunkt auf dem Vergleich von LSTM- und GRU-Architekturen.

Demonstriert die Anwendung von RNNs auf Aufgaben der Textklassifikation. Behandelt zentrale NLP-Konzepte, Methoden der Textkodierung, Schritte der Datenvorbereitung sowie den Aufbau eines LSTM-basierten Modells zur Sentimentvorhersage.

LSTM vs. GRU für Zeitreihen

LSTM vs. GRU für Zeitreihen