Apprendre Rétropropagation | Réseau de Neurones à Partir de Zéro

La rétropropagation, ou backpropagation, est le processus qui consiste à déterminer comment la fonction de perte varie par rapport à chaque paramètre du réseau de neurones. L'objectif est d'ajuster ces paramètres de manière à réduire la perte globale.

Ce processus repose sur l'algorithme de la descente de gradient, qui utilise les dérivées de la perte par rapport aux valeurs de pré-activation de chaque couche (les sorties brutes avant l'application de la fonction d'activation) et les propage en sens inverse à travers le réseau.

Puisque chaque couche contribue à la prédiction finale, les gradients sont calculés étape par étape :

Effectuer la propagation avant pour obtenir les sorties ;
Calculer la dérivée de la perte par rapport à la pré-activation de sortie ;
Propager cette dérivée en arrière à travers les couches en utilisant la règle de la chaîne ;
Calculer et utiliser les gradients pour les poids et les biais afin de les mettre à jour pendant l'entraînement.

Remarque

Les gradients représentent le taux de variation d'une fonction par rapport à ses entrées, c'est-à-dire ses dérivées. Ils indiquent dans quelle mesure une petite modification des poids, des biais ou des activations affecte la fonction de perte, guidant ainsi le processus d'apprentissage du modèle via la descente de gradient.

Notation

Pour clarifier l'explication, utilisons la notation suivante :

$W^l$ est la matrice de poids de la couche $l$ ;
$b^l$ est le vecteur de biais de la couche $l$ ;
$z^l$ est le vecteur de pré-activations de la couche $l$ ;
$a^l$ est le vecteur d'activations de la couche $l$ ;

Ainsi, en posant $a^0$ égal à $x$ (les entrées), la propagation avant dans un perceptron à n couches peut être décrite par la séquence d'opérations suivante :

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Pour décrire la rétropropagation mathématiquement, introduire les notations suivantes :

$da^l$ : dérivée de la perte par rapport aux activations à la couche $l$ ;
$dz^l$ : dérivée de la perte par rapport aux pré-activations à la couche $l$ (avant application de la fonction d'activation) ;
$dW^l$ : dérivée de la perte par rapport aux poids à la couche $l$ ;
$db^l$ : dérivée de la perte par rapport aux biais à la couche $l$ .

Calcul des gradients pour la couche de sortie

À la couche finale $n$ , la première étape consiste à calculer le gradient de la perte par rapport aux activations de la couche de sortie, noté $da^n$ .

Ensuite, en utilisant la règle de la chaîne, le gradient de la perte par rapport aux pré-activations de la couche de sortie est calculé comme suit :

dz^n = da^n \odot f'^n(z^n)

Ici, $f'^n(z^n)$ représente la dérivée de la fonction d'activation à la couche $n$ , et le symbole $\odot$ désigne la multiplication élément par élément.

Remarque

Le symbole $\odot$ désigne la multiplication élément par élément, ce qui signifie que chaque élément d’un vecteur est multiplié par l’élément correspondant d’un autre vecteur. En revanche, le symbole $\cdot$ représente le produit scalaire, utilisé pour la multiplication standard de matrices ou de vecteurs. Le terme $f'^n$ fait référence à la dérivée de la fonction d’activation à la couche de sortie.

Cette valeur indique la sensibilité de la fonction de perte aux variations des valeurs de pré-activation de la couche de sortie.

Après avoir calculé $dz^n$ , l'étape suivante consiste à déterminer les gradients pour les poids et les biais :

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T,\\ db^n &= dz^n \end{aligned}

Ces gradients décrivent dans quelle mesure chaque poids et biais de la couche de sortie doit être ajusté afin de réduire la perte.

Ici, $(a^{n-1})^T$ représente le vecteur d'activation transposé de la couche précédente. Si le vecteur original a la forme $n_{\text{neurons}} \times 1$ , sa transposée a la forme $1 \times n_{\text{neurons}}$ .

Pour poursuivre la rétropropagation, la dérivée de la perte par rapport aux activations de la couche précédente est calculée comme suit :

da^{n-1} = (W^n)^T \cdot dz^n

Cette expression permet de transmettre le signal d'erreur en arrière à travers le réseau, rendant possible l'ajustement des couches précédentes lors de l'entraînement.

Propagation des gradients vers les couches cachées

Pour chaque couche cachée $l$ , la procédure reste identique. Étant donné $da^l$ :

Calculer la dérivée de la perte par rapport aux pré-activations ;
Calculer les gradients pour les poids et les biais ;
Calculer $da^{l-1}$ pour propager la dérivée en arrière.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Ce processus est répété pour chaque couche précédente, étape par étape, jusqu'à atteindre la couche d'entrée.

Mise à jour des poids et des biais

Après avoir calculé les gradients pour toutes les couches, les poids et les biais sont mis à jour à l'aide de l'algorithme de descente de gradient :

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l,\\ b^l &= b^l - \alpha \cdot db^l. \end{aligned}

Ici, $\alpha$ représente le taux d'apprentissage, qui contrôle l'ampleur de l'ajustement des paramètres à chaque étape d'entraînement.

Ici, $\alpha$ est le taux d'apprentissage, un hyperparamètre qui détermine la taille de l'ajustement appliqué aux poids et aux biais à chaque étape de mise à jour.

Tout était clair ?

Merci pour vos commentaires !

Section 2. Chapitre 7

Demandez à l'IA

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Awesome!

Completion rate improved to 4

Glissez pour afficher le menu

Puisque chaque couche contribue à la prédiction finale, les gradients sont calculés étape par étape :

Effectuer la propagation avant pour obtenir les sorties ;
Calculer la dérivée de la perte par rapport à la pré-activation de sortie ;
Propager cette dérivée en arrière à travers les couches en utilisant la règle de la chaîne ;
Calculer et utiliser les gradients pour les poids et les biais afin de les mettre à jour pendant l'entraînement.

Remarque

Notation

Pour clarifier l'explication, utilisons la notation suivante :

$W^l$ est la matrice de poids de la couche $l$ ;
$b^l$ est le vecteur de biais de la couche $l$ ;
$z^l$ est le vecteur de pré-activations de la couche $l$ ;
$a^l$ est le vecteur d'activations de la couche $l$ ;

Ainsi, en posant $a^0$ égal à $x$ (les entrées), la propagation avant dans un perceptron à n couches peut être décrite par la séquence d'opérations suivante :

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Pour décrire la rétropropagation mathématiquement, introduire les notations suivantes :

$da^l$ : dérivée de la perte par rapport aux activations à la couche $l$ ;
$dz^l$ : dérivée de la perte par rapport aux pré-activations à la couche $l$ (avant application de la fonction d'activation) ;
$dW^l$ : dérivée de la perte par rapport aux poids à la couche $l$ ;
$db^l$ : dérivée de la perte par rapport aux biais à la couche $l$ .

Calcul des gradients pour la couche de sortie

À la couche finale $n$ , la première étape consiste à calculer le gradient de la perte par rapport aux activations de la couche de sortie, noté $da^n$ .

Ensuite, en utilisant la règle de la chaîne, le gradient de la perte par rapport aux pré-activations de la couche de sortie est calculé comme suit :

dz^n = da^n \odot f'^n(z^n)

Ici, $f'^n(z^n)$ représente la dérivée de la fonction d'activation à la couche $n$ , et le symbole $\odot$ désigne la multiplication élément par élément.

Remarque

Cette valeur indique la sensibilité de la fonction de perte aux variations des valeurs de pré-activation de la couche de sortie.

Après avoir calculé $dz^n$ , l'étape suivante consiste à déterminer les gradients pour les poids et les biais :

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T,\\ db^n &= dz^n \end{aligned}

Ces gradients décrivent dans quelle mesure chaque poids et biais de la couche de sortie doit être ajusté afin de réduire la perte.

Pour poursuivre la rétropropagation, la dérivée de la perte par rapport aux activations de la couche précédente est calculée comme suit :

da^{n-1} = (W^n)^T \cdot dz^n

Cette expression permet de transmettre le signal d'erreur en arrière à travers le réseau, rendant possible l'ajustement des couches précédentes lors de l'entraînement.

Propagation des gradients vers les couches cachées

Pour chaque couche cachée $l$ , la procédure reste identique. Étant donné $da^l$ :

Calculer la dérivée de la perte par rapport aux pré-activations ;
Calculer les gradients pour les poids et les biais ;
Calculer $da^{l-1}$ pour propager la dérivée en arrière.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Ce processus est répété pour chaque couche précédente, étape par étape, jusqu'à atteindre la couche d'entrée.

Mise à jour des poids et des biais

Après avoir calculé les gradients pour toutes les couches, les poids et les biais sont mis à jour à l'aide de l'algorithme de descente de gradient :

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l,\\ b^l &= b^l - \alpha \cdot db^l. \end{aligned}

Ici, $\alpha$ représente le taux d'apprentissage, qui contrôle l'ampleur de l'ajustement des paramètres à chaque étape d'entraînement.

Ici, $\alpha$ est le taux d'apprentissage, un hyperparamètre qui détermine la taille de l'ajustement appliqué aux poids et aux biais à chaque étape de mise à jour.

Tout était clair ?

Merci pour vos commentaires !

Section 2. Chapitre 7