De sigmoid- en tanh-activatiefuncties worden besproken, aangezien zij een cruciale rol spelen in de werking van RNN's. Deze functies transformeren invoerwaarden naar uitvoerwaarden, waardoor het model voorspellingen kan doen.

• Sigmoid-activatie: de sigmoidfunctie zet invoerwaarden om naar een uitvoerbereik tussen 0 en 1. Deze wordt vaak gebruikt bij binaire classificatietaken, omdat de uitvoer als een waarschijnlijkheid kan worden geïnterpreteerd. Echter, de functie ondervindt het vanishing gradient-probleem wanneer de invoerwaarden zeer groot of zeer klein zijn;
• Tanh-activatie: de tanh-functie lijkt op de sigmoid, maar zet de invoerwaarden om naar een uitvoerbereik tussen -1 en 1. Dit helpt om de data rond nul te centreren, wat het leerproces kan bevorderen. Ondanks deze voordelen ondervindt ook deze functie in bepaalde situaties het vanishing gradient-probleem;
• Werking van sigmoid en tanh: beide functies werken door de invoerwaarden samen te persen binnen een begrensd bereik. Het belangrijkste verschil zit in hun uitvoerbereik: sigmoid (0 tot 1) versus tanh (-1 tot 1), wat invloed heeft op hoe het netwerk informatie verwerkt en bijwerkt.

In het volgende hoofdstuk bekijken we hoe deze activatiefuncties een rol spelen in LSTM-netwerken en hoe zij helpen enkele beperkingen van standaard RNN's te overwinnen.