Sigmoid- och tanh-aktiveringsfunktionerna undersöks, eftersom de spelar en avgörande roll i funktionen hos RNN:er. Dessa funktioner omvandlar indata till utdata, vilket möjliggör för modellen att göra förutsägelser.

• Sigmoidaktivering: sigmoidfunktionen avbildar indata till ett utdataområde mellan 0 och 1. Den används ofta vid binära klassificeringsuppgifter, eftersom dess utdata kan tolkas som en sannolikhet. Dock lider den av vanishing gradient-problemet när indata är mycket stora eller mycket små;
• Tanh-aktivering: tanh-funktionen liknar sigmoid men avbildar indata till ett utdataområde mellan -1 och 1. Detta hjälper till att centrera data kring noll, vilket kan underlätta inlärningen. Trots sina fördelar lider även denna funktion av vanishing gradient-problemet i vissa situationer;
• Funktion hos sigmoid och tanh: båda funktionerna "trycker ihop" indata till ett begränsat intervall. Den huvudsakliga skillnaden ligger i deras utdataområde: sigmoid (0 till 1) jämfört med tanh (-1 till 1), vilket påverkar hur nätverket bearbetar och uppdaterar informationen.

I nästa kapitel kommer vi att titta på hur dessa aktiveringsfunktioner spelar en roll i LSTM-nätverk och hur de bidrar till att övervinna vissa av begränsningarna hos standard-RNN:er.