Die Sigmoid- und Tanh-Aktivierungsfunktionen werden untersucht, da sie eine entscheidende Rolle für die Funktionsweise von RNNs spielen. Diese Funktionen transformieren Eingaben in Ausgaben und ermöglichen es dem Modell, Vorhersagen zu treffen.

• Sigmoid-Aktivierung: Die Sigmoid-Funktion ordnet Eingabewerte einem Ausgabebereich zwischen 0 und 1 zu. Sie wird häufig bei binären Klassifizierungsaufgaben verwendet, da ihre Ausgabe als Wahrscheinlichkeit interpretiert werden kann. Allerdings leidet sie unter dem Vanishing-Gradient-Problem, wenn die Eingabewerte sehr groß oder sehr klein sind;
• Tanh-Aktivierung: Die tanh-Funktion ist der Sigmoid-Funktion ähnlich, ordnet die Eingabewerte jedoch einem Ausgabebereich zwischen -1 und 1 zu. Sie hilft, die Daten um Null zu zentrieren, was das Lernen unterstützen kann. Trotz ihrer Vorteile tritt auch hier in bestimmten Situationen das Vanishing-Gradient-Problem auf;
• Funktionsweise von Sigmoid und Tanh: Beide Funktionen arbeiten, indem sie die Eingabewerte in einen begrenzten Bereich komprimieren. Der Hauptunterschied liegt im Ausgabebereich: Sigmoid (0 bis 1) vs. tanh (-1 bis 1), was beeinflusst, wie das Netzwerk Informationen verarbeitet und aktualisiert.

Im nächsten Kapitel wird betrachtet, welche Rolle diese Aktivierungsfunktionen in LSTM-Netzwerken spielen und wie sie dazu beitragen, einige der Einschränkungen von Standard-RNNs zu überwinden.