Summary  
This chapter explains the sigmoid and tanh activation functions, detailing how they squash input values into bounded ranges (0 to 1 for sigmoid, –1 to 1 for tanh) and how those ranges influence gradient behavior and gating decisions in network layers.

General domain of usage  
Recurrent neural networks

**Sigmoid**- og **tanh**-aktiveringsfunksjonene gjennomgås, da de spiller en avgjørende rolle i funksjonen til **RNN-er**.

**Sigmoid**- og **tanh**-funksjonene transformerer input til output, noe som gjør det mulig for modellen å generere prediksjoner.


Definisjon

- **Sigmoid-aktivering**: Sigmoid-funksjonen kartlegger inndata til et utgangsområde mellom 0 og 1. Den brukes ofte i binære klassifiseringsoppgaver, ettersom utdataene kan tolkes som en sannsynlighet. Den lider imidlertid av **problemet med forsvinnende gradient** når inndataene er svært store eller svært små;  
- **Tanh-aktivering**: **Tanh**-funksjonen ligner på sigmoid, men kartlegger inndataene til et utgangsområde mellom -1 og 1. Dette bidrar til å sentrere dataene rundt null, noe som kan lette læringen. Til tross for fordelene, lider den også av problemet med forsvinnende gradient i visse situasjoner;  
- **Virkemåte for sigmoid og tanh**: Begge funksjonene fungerer ved å presse inndataene inn i et begrenset område. Den viktigste forskjellen ligger i utgangsområdet: **sigmoid** (0 til 1) vs. **tanh** (-1 til 1), noe som påvirker hvordan nettverket behandler og oppdaterer informasjonen.

I neste kapittel skal vi se på hvordan disse aktiveringsfunksjonene spiller en rolle i **LSTM**-nettverk og hvordan de bidrar til å overvinne noen av begrensningene ved standard RNN-er.


Hva er utgangsområdet til sigmoid-aktiveringsfunksjonen?

Bli ekspert på rekursive nevrale nettverk og deres avanserte varianter som LSTM og GRU ved bruk av PyTorch. Få praktisk erfaring med behandling av sekvensielle data for anvendelser i praksis. Bruk disse kraftige modellene til å løse reelle utfordringer innen tidsserieprognoser og ulike oppgaver innen naturlig språkprosessering.

Dekker begrensningene ved tradisjonelle nevrale nettverk for sekvensielle data og introduserer grunnleggende prinsipper for rekurrente nevrale nettverk. Forklarer RNN-arkitektur, typer og trinnvis implementering gjennom grunnleggende eksempler og en kodeutfordring.

Utforsker vanlige treningsutfordringer som forsvinnende og eksploderende gradienter. Introduserer avanserte RNN-varianter, inkludert LSTM og GRU, med fokus på deres interne mekanismer og bruksområder, samt praktiske implementeringseksempler for hver.

Fokuserer på behandling og prediksjon av tidsseriedata ved bruk av RNN-baserte modeller. Inkluderer datainnhenting, forhåndsbehandlingsteknikker, modelltrening og ytelsesevaluering, med vekt på sammenligning av LSTM- og GRU-arkitekturer.

Demonstrerer anvendelsen av RNN-er på tekstklassifiseringsoppgaver. Dekker sentrale NLP-konsepter, metoder for tekstkoding, trinn for datapreparering og konstruksjon av en LSTM-basert modell for prediksjon av sentiment.

Sigmoid- og Tanh-aktiveringer