Activations Sigmoïde et Tanh pour les RNN

Les fonctions d'activation sigmoïde et tanh sont étudiées, car elles jouent un rôle essentiel dans le fonctionnement des RNN.

• Activation sigmoïde : la fonction sigmoïde transforme les valeurs d'entrée en une plage de sortie comprise entre 0 et 1. Elle est couramment utilisée dans les tâches de classification binaire, car sa sortie peut être interprétée comme une probabilité. Cependant, elle souffre du problème du gradient qui disparaît lorsque les valeurs d'entrée sont très grandes ou très petites ;
• Activation tanh : la fonction tanh est similaire à la sigmoïde mais transforme les valeurs d'entrée en une plage de sortie comprise entre -1 et 1. Elle permet de centrer les données autour de zéro, ce qui peut faciliter l'apprentissage. Malgré ses avantages, elle souffre également du problème du gradient qui disparaît dans certaines situations ;
• Fonctionnement de la sigmoïde et de tanh : les deux fonctions compriment les valeurs d'entrée dans une plage bornée. La principale différence réside dans leur plage de sortie : sigmoïde (0 à 1) contre tanh (-1 à 1), ce qui influence la manière dont le réseau traite et met à jour l'information.

Dans le prochain chapitre, nous examinerons comment ces fonctions d'activation jouent un rôle dans les réseaux LSTM et comment elles aident à surmonter certaines des limitations des RNN standards.