Rekurrente neuronale Netze (RNNs) sind darauf ausgelegt, sequenzielle Daten zu verarbeiten, indem sie Informationen aus vorherigen Eingaben in ihren internen Zuständen speichern. Dies macht sie ideal für Aufgaben wie Sprachmodellierung und Sequenzvorhersage.

• Sequenzielle Verarbeitung: RNN verarbeitet Daten Schritt für Schritt und behält dabei den Überblick über vorherige Informationen;
• Satzvervollständigung: Bei dem unvollständigen Satz "My favourite dish is sushi. So, my favourite cuisine is _____." verarbeitet das RNN die Wörter nacheinander. Nach dem Wort "sushi" sagt es das nächste Wort als "Japanese" basierend auf dem vorherigen Kontext voraus;
• Gedächtnis in RNNs: Bei jedem Schritt aktualisiert das RNN seinen internen Zustand (Gedächtnis) mit neuen Informationen, um den Kontext für zukünftige Schritte zu bewahren;
• Training des RNN: RNNs werden mit Backpropagation Through Time (BPTT) trainiert, wobei Fehler rückwärts durch jeden Zeitschritt weitergegeben werden, um die Gewichte für bessere Vorhersagen anzupassen.

Forward Propagation

Während der Forward Propagation verarbeitet das RNN die Eingabedaten Schritt für Schritt:

1. Eingabe zum Zeitpunkt $t$: Das Netzwerk erhält zu jedem Zeitpunkt eine Eingabe $x_t$;

2. Aktualisierung des versteckten Zustands: Der aktuelle versteckte Zustand $h_t$ wird basierend auf dem vorherigen versteckten Zustand $h_{t-1}$ und der aktuellen Eingabe $x_t$ mit folgender Formel aktualisiert:

   $$h_t=f(W\cdot \left[\begin{array}{c}{h}_{t-1},x_t\end{array}\right]+b)$$

   • Dabei gilt:
     • $W$ ist die Gewichtsmatrix;
     • $b$ ist der Bias-Vektor;
     • $f$ ist die Aktivierungsfunktion.

3. Ausgabegenerierung: Die Ausgabe $y_t$ wird basierend auf dem aktuellen versteckten Zustand $h_t$ mit folgender Formel erzeugt:

   $$y_t=g(V\cdot h_t+c)$$

   • Dabei gilt:
     • $V$ ist die Gewichtsmatrix für die Ausgabe;
     • $c$ ist der Bias für die Ausgabe;
     • $g$ ist die Aktivierungsfunktion der Ausgabeschicht.

Backpropagation-Prozess

Backpropagation in RNNs ist entscheidend für die Aktualisierung der Gewichte und die Verbesserung des Modells. Der Prozess wird an die sequenzielle Natur von RNNs durch Backpropagation Through Time (BPTT) angepasst:

1. Fehlerberechnung: Der erste Schritt bei BPTT ist die Berechnung des Fehlers zu jedem Zeitschritt. Dieser Fehler ist typischerweise die Differenz zwischen der vorhergesagten Ausgabe und dem tatsächlichen Zielwert;

2. Gradientenberechnung: In Rekurrenten Neuronalen Netzen werden die Gradienten der Verlustfunktion berechnet, indem der Fehler bezüglich der Netzwerkparameter abgeleitet und rückwärts durch die Zeit vom letzten zum ersten Schritt propagiert wird. Dies kann insbesondere bei langen Sequenzen zu verschwindenden oder explodierenden Gradienten führen;

3. Gewichtsaktualisierung: Sobald die Gradienten berechnet wurden, werden die Gewichte mit einer Optimierungsmethode wie Stochastic Gradient Descent (SGD) aktualisiert. Die Gewichte werden so angepasst, dass der Fehler in zukünftigen Iterationen minimiert wird. Die Formel zur Aktualisierung der Gewichte lautet:

   $$W:=W-\eta \frac{\partial \text{Loss}}{\partial W}$$

   • Dabei gilt:
     • $\eta$ ist die Lernrate;
     • $\frac{\partial \text{Loss}}{\partial W}$ ist der Gradient der Verlustfunktion bezüglich der Gewichtsmatrix.

Zusammenfassend sind RNNs leistungsfähig, da sie Informationen aus der Vergangenheit speichern und nutzen können, was sie für Aufgaben mit Sequenzen geeignet macht.