Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.Apprendre Rétropropagation | Réseau de Neurones à Partir de Zéro
Introduction aux Réseaux de Neurones

bookRétropropagation

La rétropropagation (backprop) est le processus de calcul de la façon dont la fonction de perte varie par rapport à chaque paramètre du réseau. L'objectif est de mettre à jour les paramètres dans la direction qui réduit la perte.

Pour cela, on utilise l'algorithme de la descente de gradient et on calcule les dérivées de la perte par rapport aux valeurs de pré-activation de chaque couche (valeurs brutes avant l'application de la fonction d'activation), puis on les propage en arrière.

Chaque couche contribue à la prédiction finale, donc les gradients doivent être calculés de manière structurée :

  1. Effectuer la propagation avant ;
  2. Calculer la dérivée de la perte par rapport à la pré-activation de sortie ;
  3. Propager cette dérivée en arrière à travers les couches en utilisant la règle de la chaîne ;
  4. Calculer les gradients pour les poids et les biais afin de les mettre à jour.
Note
Note

Les gradients représentent le taux de variation d'une fonction par rapport à ses entrées, c'est-à-dire ses dérivées. Ils indiquent dans quelle mesure une petite variation des poids, des biais ou des activations affecte la fonction de perte, guidant ainsi le processus d'apprentissage du modèle via la descente de gradient.

Notation

Pour clarifier l'explication, utilisons la notation suivante :

  • WlW^l est la matrice de poids de la couche ll ;
  • blb^l est le vecteur de biais de la couche ll ;
  • zlz^l est le vecteur de pré-activations de la couche ll ;
  • ala^l est le vecteur d'activations de la couche ll ;

Ainsi, en posant a0a^0 égal à xx (les entrées), la propagation avant dans un perceptron à n couches peut être décrite par la séquence d'opérations suivante :

a0=x,......z1=W1a0+b1,zl=Wlal−1+bl,zn=Wnan−1+bn,a1=f1(z1),al=fl(zl),an=fn(zn),......y^=an.\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Pour décrire la rétropropagation mathématiquement, nous introduisons les notations suivantes :

  • dalda^l : dérivée de la perte par rapport aux activations à la couche ll ;
  • dzldz^l : dérivée de la perte par rapport aux pré-activations à la couche ll (avant l'application de la fonction d'activation) ;
  • dWldW^l : dérivée de la perte par rapport aux poids à la couche ll ;
  • dbldb^l : dérivée de la perte par rapport aux biais à la couche ll.

Calcul des gradients pour la couche de sortie

À la couche finale nn, on commence par calculer le gradient de la perte par rapport aux activations de la couche de sortie, danda^n. Ensuite, en utilisant la règle de la chaîne, on calcule le gradient de la perte par rapport aux pré-activations de la couche de sortie :

dzn=dan⊙f′n(zn)dz^n = da^n \odot f'^n(z^n)
Note
Remarque

Le symbole ⊙\odot représente la multiplication élément par élément. Comme nous travaillons avec des vecteurs et des matrices, le symbole de multiplication habituel ⋅\cdot représente plutôt le produit scalaire. f′nf'^n est la dérivée de la fonction d'activation de la couche de sortie.

Cette quantité représente la sensibilité de la fonction de perte aux variations de la pré-activation de la couche de sortie.

Une fois que nous avons dzn\text d z^n, nous calculons les gradients pour les poids et les biais :

dWn=dzn⋅(an−1)Tdbn=dzn\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

où (an−1)T(a^{n-1})^T est le vecteur transposé d'activation de la couche précédente. Étant donné que le vecteur original est un vecteur nneurons×1n_{neurons} \times 1, le vecteur transposé est 1×nneurons1 \times n_{neurons}.

Pour propager cela en arrière, nous calculons la dérivée de la perte par rapport aux activations de la couche précédente :

dan−1=(Wn)T⋅dznda^{n-1} = (W^n)^T \cdot dz^n

Propagation des gradients vers les couches cachées

Pour chaque couche cachée ll, la procédure est identique. Étant donné dalda^l :

  1. Calculer la dérivée de la perte par rapport aux pré-activations ;
  2. Calculer les gradients pour les poids et les biais ;
  3. Calculer dal−1da^{l-1} pour propager la dérivée en arrière.
dzl=dal⊙f′l(zl)dWl=dzl⋅(al−1)Tdbl=dzldal−1=(Wl)T⋅dzl\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Cette étape se répète jusqu'à ce que nous atteignions la couche d'entrée.

Mise à jour des poids et des biais

Une fois que les gradients pour toutes les couches ont été calculés, les poids et les biais sont mis à jour à l'aide de la descente de gradient :

Wl=Wl−α⋅dWlbl=bl−α⋅dbl\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

où α\alpha est le taux d'apprentissage, qui contrôle l'ampleur de l'ajustement des paramètres.

question mark

Lors de la rétropropagation, comment un réseau de neurones met-il à jour ses poids et ses biais afin de minimiser la fonction de perte ?

Select the correct answer

Tout était clair ?

Comment pouvons-nous l'améliorer ?

Merci pour vos commentaires !

Section 2. Chapitre 7

Demandez à l'IA

expand

Demandez à l'IA

ChatGPT

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Awesome!

Completion rate improved to 4

bookRétropropagation

Glissez pour afficher le menu

La rétropropagation (backprop) est le processus de calcul de la façon dont la fonction de perte varie par rapport à chaque paramètre du réseau. L'objectif est de mettre à jour les paramètres dans la direction qui réduit la perte.

Pour cela, on utilise l'algorithme de la descente de gradient et on calcule les dérivées de la perte par rapport aux valeurs de pré-activation de chaque couche (valeurs brutes avant l'application de la fonction d'activation), puis on les propage en arrière.

Chaque couche contribue à la prédiction finale, donc les gradients doivent être calculés de manière structurée :

  1. Effectuer la propagation avant ;
  2. Calculer la dérivée de la perte par rapport à la pré-activation de sortie ;
  3. Propager cette dérivée en arrière à travers les couches en utilisant la règle de la chaîne ;
  4. Calculer les gradients pour les poids et les biais afin de les mettre à jour.
Note
Note

Les gradients représentent le taux de variation d'une fonction par rapport à ses entrées, c'est-à-dire ses dérivées. Ils indiquent dans quelle mesure une petite variation des poids, des biais ou des activations affecte la fonction de perte, guidant ainsi le processus d'apprentissage du modèle via la descente de gradient.

Notation

Pour clarifier l'explication, utilisons la notation suivante :

  • WlW^l est la matrice de poids de la couche ll ;
  • blb^l est le vecteur de biais de la couche ll ;
  • zlz^l est le vecteur de pré-activations de la couche ll ;
  • ala^l est le vecteur d'activations de la couche ll ;

Ainsi, en posant a0a^0 égal à xx (les entrées), la propagation avant dans un perceptron à n couches peut être décrite par la séquence d'opérations suivante :

a0=x,......z1=W1a0+b1,zl=Wlal−1+bl,zn=Wnan−1+bn,a1=f1(z1),al=fl(zl),an=fn(zn),......y^=an.\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Pour décrire la rétropropagation mathématiquement, nous introduisons les notations suivantes :

  • dalda^l : dérivée de la perte par rapport aux activations à la couche ll ;
  • dzldz^l : dérivée de la perte par rapport aux pré-activations à la couche ll (avant l'application de la fonction d'activation) ;
  • dWldW^l : dérivée de la perte par rapport aux poids à la couche ll ;
  • dbldb^l : dérivée de la perte par rapport aux biais à la couche ll.

Calcul des gradients pour la couche de sortie

À la couche finale nn, on commence par calculer le gradient de la perte par rapport aux activations de la couche de sortie, danda^n. Ensuite, en utilisant la règle de la chaîne, on calcule le gradient de la perte par rapport aux pré-activations de la couche de sortie :

dzn=dan⊙f′n(zn)dz^n = da^n \odot f'^n(z^n)
Note
Remarque

Le symbole ⊙\odot représente la multiplication élément par élément. Comme nous travaillons avec des vecteurs et des matrices, le symbole de multiplication habituel ⋅\cdot représente plutôt le produit scalaire. f′nf'^n est la dérivée de la fonction d'activation de la couche de sortie.

Cette quantité représente la sensibilité de la fonction de perte aux variations de la pré-activation de la couche de sortie.

Une fois que nous avons dzn\text d z^n, nous calculons les gradients pour les poids et les biais :

dWn=dzn⋅(an−1)Tdbn=dzn\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

où (an−1)T(a^{n-1})^T est le vecteur transposé d'activation de la couche précédente. Étant donné que le vecteur original est un vecteur nneurons×1n_{neurons} \times 1, le vecteur transposé est 1×nneurons1 \times n_{neurons}.

Pour propager cela en arrière, nous calculons la dérivée de la perte par rapport aux activations de la couche précédente :

dan−1=(Wn)T⋅dznda^{n-1} = (W^n)^T \cdot dz^n

Propagation des gradients vers les couches cachées

Pour chaque couche cachée ll, la procédure est identique. Étant donné dalda^l :

  1. Calculer la dérivée de la perte par rapport aux pré-activations ;
  2. Calculer les gradients pour les poids et les biais ;
  3. Calculer dal−1da^{l-1} pour propager la dérivée en arrière.
dzl=dal⊙f′l(zl)dWl=dzl⋅(al−1)Tdbl=dzldal−1=(Wl)T⋅dzl\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Cette étape se répète jusqu'à ce que nous atteignions la couche d'entrée.

Mise à jour des poids et des biais

Une fois que les gradients pour toutes les couches ont été calculés, les poids et les biais sont mis à jour à l'aide de la descente de gradient :

Wl=Wl−α⋅dWlbl=bl−α⋅dbl\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

où α\alpha est le taux d'apprentissage, qui contrôle l'ampleur de l'ajustement des paramètres.

question mark

Lors de la rétropropagation, comment un réseau de neurones met-il à jour ses poids et ses biais afin de minimiser la fonction de perte ?

Select the correct answer

Tout était clair ?

Comment pouvons-nous l'améliorer ?

Merci pour vos commentaires !

Section 2. Chapitre 7
some-alt