Fonctions d'activation

« Patron » d’un neurone

Imaginez un service dans une entreprise. Les employés traitent les informations entrantes — ces employés représentent les poids d’un neurone, et les informations qu’ils reçoivent sont l’entrée. Une fois le travail terminé, le chef du service décide de la suite à donner. Dans cette analogie, le chef correspond à la fonction d’activation.

Chaque poids (employé) traite l'information différemment, mais la décision finale revient à la fonction d'activation — le « chef » interne du neurone. Elle évalue la valeur traitée et décide s'il faut transmettre ce signal ou le supprimer. Cela permet au réseau de ne transmettre que les informations les plus pertinentes.

Mathématiquement, une fonction d'activation introduit une non-linéarité, permettant aux neurones de détecter des motifs complexes que les fonctions linéaires ne peuvent pas capturer. Sans fonctions d'activation non linéaires, un réseau de neurones se comporterait comme un simple modèle linéaire, quel que soit le nombre de couches.

Options de fonction d'activation

Les réseaux de neurones utilisent couramment les fonctions d'activation suivantes :

• Sigmoïde : transforme tout nombre réel dans l'intervalle 0 à 1. Utile lorsque la sortie représente une probabilité ou un degré de certitude ;

• ReLU (Rectified Linear Unit) : produit 0 pour les valeurs négatives et conserve les valeurs positives inchangées. ReLU est simple, efficace et permet aux réseaux d'apprendre des schémas complexes sans le problème de disparition du gradient fréquent avec sigmoid/tanh ;

• Tanh (Tangente hyperbolique) : similaire à la sigmoïde mais produit des valeurs comprises entre –1 et 1, offrant un gradient plus fort pour les entrées négatives et étant souvent plus efficace que la sigmoïde dans les couches cachées ;

Différences entre les fonctions d'activation

Différentes fonctions d'activation sont utilisées selon les cas, en fonction de la tâche que le réseau de neurones doit résoudre.

Si la fonction d'activation ReLU est utilisée, le neurone fonctionne selon une règle simple — il conserve toutes les valeurs importantes (positives) et écarte toutes les valeurs non importantes (négatives).

Lorsqu'un neurone utilise une fonction d'activation sigmoïde, sa sortie devient une valeur comprise entre 0 et 1, interprétable comme une probabilité ou un score d'importance. Cela aide le réseau à déterminer dans quelle mesure le neurone doit influencer la couche suivante.

Dans l'ensemble, la fonction d'activation est la règle qui détermine comment un neurone réagit aux informations entrantes. Elle ajoute de la flexibilité, façonne la manière dont les signaux circulent dans le réseau et permet au modèle d'apprendre des schémas riches et hiérarchisés — rendant ainsi les réseaux de neurones capables de prédictions précises et adaptatives.