Summary  
This chapter explains the sigmoid and tanh activation functions, detailing how they squash input values into bounded ranges (0 to 1 for sigmoid, –1 to 1 for tanh) and how those ranges influence gradient behavior and gating decisions in network layers.

General domain of usage  
Recurrent neural networks

Die **Sigmoid**- und **Tanh**-Aktivierungsfunktionen werden untersucht, da sie eine entscheidende Rolle für die Funktionsweise von **RNNs** spielen.

Die **Sigmoid**- und **Tanh**-Funktionen transformieren Eingaben in Ausgaben und ermöglichen es dem Modell, Vorhersagen zu treffen.


Definition

- **Sigmoid-Aktivierung**: Die Sigmoid-Funktion ordnet Eingabewerte einem Ausgabebereich zwischen 0 und 1 zu. Sie wird häufig bei binären Klassifizierungsaufgaben verwendet, da ihre Ausgabe als Wahrscheinlichkeit interpretiert werden kann. Allerdings leidet sie unter dem **Vanishing-Gradient-Problem**, wenn die Eingabewerte sehr groß oder sehr klein sind;  
- **Tanh-Aktivierung**: Die **tanh**-Funktion ist der Sigmoid-Funktion ähnlich, ordnet die Eingabewerte jedoch einem Ausgabebereich zwischen -1 und 1 zu. Sie hilft, die Daten um Null zu zentrieren, was das Lernen unterstützen kann. Trotz ihrer Vorteile tritt auch hier in bestimmten Situationen das Vanishing-Gradient-Problem auf;  
- **Funktionsweise von Sigmoid und Tanh**: Beide Funktionen komprimieren die Eingabewerte in einen begrenzten Bereich. Der Hauptunterschied liegt im Ausgabebereich: **Sigmoid** (0 bis 1) vs. **tanh** (-1 bis 1), was beeinflusst, wie das Netzwerk Informationen verarbeitet und aktualisiert.

Im nächsten Kapitel betrachten wir, welche Rolle diese Aktivierungsfunktionen in **LSTM**-Netzwerken spielen und wie sie helfen, einige der Einschränkungen von Standard-RNNs zu überwinden.


Wie lautet der Ausgabebereich der Sigmoid-Aktivierungsfunktion?

Beherrschung von Rekurrenten Neuronalen Netzen und deren fortgeschrittenen Varianten wie LSTMs und GRUs mit PyTorch. Praktische Erfahrung in der Verarbeitung sequentieller Daten für praxisnahe Anwendungen. Anwendung dieser leistungsstarken Modelle zur Lösung realer Herausforderungen in der Zeitreihenprognose und verschiedenen Aufgaben der natürlichen Sprachverarbeitung.

Behandelt die Einschränkungen traditioneller neuronaler Netze bei sequenziellen Daten und führt in die Grundlagen von Rekurrenten Neuronalen Netzen ein. Erläutert RNN-Architektur, Typen und die schrittweise Implementierung anhand grundlegender Beispiele und einer Programmieraufgabe.

Untersucht häufige Trainingsherausforderungen wie verschwindende und explodierende Gradienten. Stellt fortgeschrittene RNN-Varianten wie LSTM und GRU vor, hebt deren interne Mechanismen und Anwendungsfälle hervor und bietet praktische Implementierungsbeispiele für jede Variante.

Konzentriert sich auf die Verarbeitung und Prognose von Zeitreihendaten mithilfe von RNN-basierten Modellen. Beinhaltet das Laden von Daten, Vorverarbeitungstechniken, Modelltraining und Leistungsevaluierung, mit Schwerpunkt auf dem Vergleich von LSTM- und GRU-Architekturen.

Demonstriert die Anwendung von RNNs auf Aufgaben der Textklassifikation. Behandelt zentrale NLP-Konzepte, Methoden der Textkodierung, Schritte der Datenvorbereitung sowie den Aufbau eines LSTM-basierten Modells zur Sentimentvorhersage.

Sigmoid- und Tanh-Aktivierungen