Les fonctions d'activation sigmoïde et tanh sont étudiées, car elles jouent un rôle essentiel dans le fonctionnement des RNN. Ces fonctions transforment les entrées en sorties, permettant au modèle de réaliser des prédictions.

• Activation sigmoïde : la fonction sigmoïde projette les valeurs d'entrée dans un intervalle de sortie compris entre 0 et 1. Elle est couramment utilisée dans les tâches de classification binaire, car sa sortie peut être interprétée comme une probabilité. Cependant, elle souffre du problème du gradient qui disparaît lorsque les valeurs d'entrée sont très grandes ou très petites ;
• Activation tanh : la fonction tanh est similaire à la sigmoïde mais projette les valeurs d'entrée dans un intervalle de sortie compris entre -1 et 1. Elle permet de centrer les données autour de zéro, ce qui peut faciliter l'apprentissage. Malgré ses avantages, elle souffre également du problème du gradient qui disparaît dans certaines situations ;
• Fonctionnement de sigmoïde et tanh : les deux fonctions agissent en comprimant les valeurs d'entrée dans un intervalle borné. La principale différence réside dans leur plage de sortie : sigmoïde (0 à 1) contre tanh (-1 à 1), ce qui influence la manière dont le réseau traite et met à jour l'information.

Dans le prochain chapitre, nous examinerons comment ces fonctions d'activation interviennent dans les réseaux LSTM et comment elles contribuent à surmonter certaines des limitations des RNN standards.