Summary  
This chapter explains the sigmoid and tanh activation functions, detailing how they squash input values into bounded ranges (0 to 1 for sigmoid, –1 to 1 for tanh) and how those ranges influence gradient behavior and gating decisions in network layers.

General domain of usage  
Recurrent neural networks

**Sigmoid**- og **tanh**-aktiveringsfunktionerne undersøges, da de spiller en afgørende rolle i funktionen af **RNN'er**.

**Sigmoid**- og **tanh**-funktionerne omdanner input til output, hvilket gør det muligt for modellen at foretage forudsigelser.


Definition

- **Sigmoid-aktivering**: sigmoid-funktionen kortlægger inputværdier til et outputområde mellem 0 og 1. Den anvendes ofte i binære klassifikationsopgaver, da dens output kan tolkes som en sandsynlighed. Dog lider den af **vanishing gradient-problemet**, når inputværdierne er meget store eller meget små;
- **Tanh-aktivering**: **tanh**-funktionen ligner sigmoid, men kortlægger inputværdier til et outputområde mellem -1 og 1. Dette hjælper med at centrere data omkring nul, hvilket kan understøtte læring. På trods af fordelene lider den også af vanishing gradient-problemet i visse situationer;
- **Funktion af sigmoid og tanh**: begge funktioner arbejder ved at komprimere inputværdierne til et begrænset interval. Den primære forskel ligger i deres outputområde: **sigmoid** (0 til 1) vs. **tanh** (-1 til 1), hvilket påvirker, hvordan netværket behandler og opdaterer information.

I næste kapitel ser vi på, hvordan disse aktiveringsfunktioner spiller en rolle i **LSTM**-netværk, og hvordan de hjælper med at overvinde nogle af begrænsningerne ved standard-RNN'er.


Hvad er outputområdet for sigmoid-aktiveringsfunktionen?

Behersk rekurrente neurale netværk og deres avancerede varianter som LSTM og GRU ved hjælp af PyTorch. Opnå praktisk erfaring med behandling af sekventielle data til anvendelser i praksis. Anvend disse kraftfulde modeller til at løse virkelige udfordringer inden for tidsserieprognoser og forskellige opgaver i naturlig sprogbehandling.

Dækker begrænsningerne ved traditionelle neurale netværk for sekventielle data og introducerer grundlæggende principper for Recurrent Neural Networks. Forklarer RNN-arkitektur, typer og trinvis implementering gennem grundlæggende eksempler og en kodningsudfordring.

Undersøger almindelige træningsudfordringer såsom forsvindende og eksploderende gradienter. Introducerer avancerede RNN-varianter, herunder LSTM og GRU, med fokus på deres interne mekanismer og anvendelsesområder samt praktiske implementeringseksempler for hver.

Fokuserer på behandling og prognose af tidsseriedata ved hjælp af RNN-baserede modeller. Omfatter dataindlæsning, forbehandlingsteknikker, modeltræning og præstationsvurdering med vægt på sammenligning af LSTM- og GRU-arkitekturer.

Demonstrerer anvendelsen af RNN'er til tekstklassificeringsopgaver. Dækker centrale NLP-begreber, tekstkodningsmetoder, trin til dataklargøring og opbygning af en LSTM-baseret model til sentimentforudsigelse.

Sigmoid- og Tanh-aktiveringer