Summary  
This chapter explains how the sigmoid and tanh activation functions map inputs into fixed ranges—[0,1] for sigmoid and [–1,1] for tanh—and how these ranges are used as gating mechanisms in recurrent neural networks to control information retention and state updates.  

General domain of usage  
Recurrent neural networks

Die **Sigmoid**- und **Tanh**-Aktivierungsfunktionen werden untersucht, da sie eine entscheidende Rolle für die Funktionsweise von **RNNs** spielen.

Die **Sigmoid**- und **Tanh**-Funktionen transformieren Eingaben in Ausgaben und ermöglichen dem Modell Vorhersagen.

Definition

- **Sigmoid-Aktivierung**: Die Sigmoid-Funktion ordnet Eingabewerte einem Ausgabebereich zwischen 0 und 1 zu. Sie wird häufig bei binären Klassifizierungsaufgaben verwendet, da ihre Ausgabe als Wahrscheinlichkeit interpretiert werden kann. Allerdings leidet sie unter dem **Verschwinden des Gradienten** bei sehr großen oder sehr kleinen Eingabewerten;  
- **Tanh-Aktivierung**: Die **tanh**-Funktion ist der Sigmoid-Funktion ähnlich, ordnet die Eingabewerte jedoch einem Ausgabebereich zwischen -1 und 1 zu. Sie hilft, die Daten um Null zu zentrieren, was das Lernen unterstützen kann. Trotz ihrer Vorteile leidet sie in bestimmten Situationen ebenfalls unter dem Verschwinden des Gradienten;  
- **Funktionsweise von Sigmoid und Tanh**: Beide Funktionen komprimieren die Eingabewerte in einen begrenzten Bereich. Der Hauptunterschied liegt in ihrem Ausgabebereich: **Sigmoid** (0 bis 1) vs. **tanh** (-1 bis 1), was beeinflusst, wie das Netzwerk Informationen verarbeitet und aktualisiert.

Im nächsten Kapitel betrachten wir, welche Rolle diese Aktivierungsfunktionen in **LSTM**-Netzwerken spielen und wie sie helfen, einige der Einschränkungen von Standard-RNNs zu überwinden.


Was ist der Ausgabebereich der Sigmoid-Aktivierungsfunktion?

Konzentriert sich ausschließlich auf Rekurrente Neuronale Netze (RNNs) und deren Anwendung zur Sequenzgenerierung. Dieses fortgeschrittene Modul behandelt die grundlegende Theorie der RNNs sowie praxisorientierte Ansätze zur Modellierung sequentieller Daten und bereitet Sie auf die praktische Arbeit mit LSTM- und GRU-Netzen in Python vor.

Sigmoid- und Tanh-Aktivierungen für RNNs