« Patron » d’un neurone

Les fonctions d’activation dans les réseaux de neurones constituent une partie essentielle de chaque neurone. Elles prennent en entrée la somme de toutes les entrées multipliées par les poids (ce que le neurone « voit »), puis convertissent cette somme en une certaine valeur, qui est ensuite transmise plus loin dans le réseau.

Imaginez un service dans un bureau. Les employés de ce service traitent les informations qu’ils reçoivent et décident de la suite à donner. Dans notre analogie, le service représente un neurone, les employés du service sont les poids des neurones, et les informations reçues sont les entrées.

Chaque employé traite l’information en tenant compte de ses spécificités (poids). Mais la décision concernant l’information à transmettre plus loin revient au chef du service. C’est ici qu’intervient la fonction d’activation.

La fonction d’activation est le « patron » interne de chaque neurone. Elle examine l’information traitée par les employés et décide de la suite à donner. Selon l’« importance » que le patron accorde à l’information, il peut choisir de la transmettre à la chaîne suivante (à un autre neurone dans la couche suivante du réseau) ou de l’ignorer.

D'un point de vue plus mathématique, la fonction d'activation introduit une non-linéarité dans le fonctionnement du neurone, ce qui lui permet d'extraire des motifs plus complexes à partir des données et apporte une flexibilité au fonctionnement d'un réseau de neurones.

Options de fonction d'activation

Exemples de fonctions d'activation :

• Fonction sigmoïde : cette fonction convertit toute valeur d'entrée en un nombre compris entre 0 et 1. Cela permet au neurone de générer une sortie toujours dans une certaine plage :

• ReLU (Rectified Linear Unit) : cette fonction d'activation convertit tout nombre négatif en 0 et laisse tout nombre positif inchangé. Il s'agit d'une caractéristique simple qui permet aux neurones de traiter facilement des problèmes non linéaires :

• Tanh (Tangente hyperbolique) : cette fonction est très similaire à la fonction sigmoïde, mais elle convertit l'entrée en un nombre compris entre -1 et 1, ce qui la rend plus polyvalente que la fonction sigmoïde :

Différences entre les fonctions d'activation

Différentes fonctions d'activation sont utilisées selon les cas, en fonction de la tâche que le réseau de neurones doit résoudre.

Si la fonction d'activation ReLU est utilisée, le « chef » fonctionne selon le principe « tout ce qui est important, je le garde, et tout ce qui ne l'est pas (c'est-à-dire les valeurs négatives), je l'élimine ».

Si nous utilisons la fonction sigmoïde, le responsable agira un peu différemment, essayant de transformer toute information reçue en une valeur comprise entre 0 et 1, ce qui peut être interprété comme une probabilité ou un degré de certitude. Cela peut indiquer à quel point l'information est utile.

Il est important de comprendre qu'une fonction d'activation est simplement une règle qui détermine comment un neurone réagit à l'information qu'il reçoit. Elle permet de rendre le fonctionnement du neurone plus flexible et adaptatif, ce qui permet au réseau de neurones d'apprendre et de faire des prédictions plus précises.