Sigmoid- og tanh-aktiveringsfunksjonene gjennomgås, da de spiller en avgjørende rolle i funksjonen til RNN-er. Disse funksjonene transformerer inngangsverdier til utganger, noe som gjør det mulig for modellen å foreta prediksjoner.

• Sigmoid-aktivering: Sigmoid-funksjonen avbilder inngangsverdier til et utgangsområde mellom 0 og 1. Den brukes ofte i binære klassifiseringsoppgaver, da utgangen kan tolkes som en sannsynlighet. Den har imidlertid utfordringer med vanishing gradient-problemet når inngangsverdiene er svært store eller svært små;
• Tanh-aktivering: Tanh-funksjonen ligner på sigmoid, men avbilder inngangsverdiene til et utgangsområde mellom -1 og 1. Dette bidrar til å sentrere dataene rundt null, noe som kan lette læringen. Til tross for fordelene, har den også utfordringer med vanishing gradient-problemet i enkelte situasjoner;
• Virkemåte for sigmoid og tanh: Begge funksjonene fungerer ved å presse inngangsverdiene inn i et begrenset område. Hovedforskjellen ligger i utgangsområdet: sigmoid (0 til 1) vs. tanh (-1 til 1), noe som påvirker hvordan nettverket prosesserer og oppdaterer informasjonen.

I neste kapittel vil vi se på hvordan disse aktiveringsfunksjonene spiller en rolle i LSTM-nettverk og hvordan de bidrar til å overvinne noen av begrensningene ved standard RNN-er.