Les réseaux de neurones artificiels (ANN) constituent la base de l'IA générative moderne. Ils sont conçus pour reconnaître des motifs, apprendre des représentations et générer des données qui imitent les distributions du monde réel. Vous obtiendrez une vue d'ensemble concise et complète des ANN, en mettant l'accent sur leur importance dans l'IA générative.

Structure des réseaux de neurones

Neurones et couches

Un réseau de neurones se compose d'unités interconnectées appelées neurones, organisées en couches :

• Couche d'entrée : reçoit les données brutes (par exemple, images, texte, entrées numériques) ;
• Couches cachées : traitent et transforment les données à l'aide de connexions pondérées ;
• Couche de sortie : produit des prédictions ou des classifications.

Chaque neurone applique une somme pondérée à ses entrées et transmet le résultat à une fonction d'activation :

où :

• $x_i$ sont les valeurs d'entrée ;
• $\omega_i$ sont les poids ;
• $b$ est le terme de biais ;
• $z$ est la somme pondérée transmise à la fonction d'activation.

Fonctions d’activation

Les fonctions d’activation introduisent la non-linéarité, permettant aux réseaux d’apprendre des schémas complexes. Les fonctions d’activation courantes incluent :

• Sigmoïde, utilisée pour les probabilités : $\sigma(z)=\dfrac{1}{1+e^{-z}}$

• ReLU (Rectified Linear Unit), couramment utilisée dans les réseaux profonds : $f(z)=\max(0,z)$

• Tanh, utile pour des sorties centrées sur zéro : $\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$

Propagation avant et arrière

Propagation avant

La propagation avant consiste à faire passer les entrées à travers le réseau pour calculer la sortie. Chaque neurone calcule :

où $f(z)$ est la fonction d'activation.

Rétropropagation et descente de gradient

Pour améliorer les prédictions, les RNA ajustent les poids à l'aide de la rétropropagation, qui minimise l'erreur grâce à la descente de gradient. La règle de mise à jour des poids dans la descente de gradient est :

où :

• $\eta$ est le taux d'apprentissage ;
• $L$ est la fonction de perte ;
• $\frac{\partial L}{\partial \omega_i}$ est le gradient de la perte par rapport à $\omega_i$.

Fonctions de perte et processus d'entraînement

Fonctions de perte

Les fonctions de perte mesurent la différence entre les valeurs prédites et les valeurs réelles. Les fonctions de perte courantes incluent :

• Erreur quadratique moyenne (MSE) (pour la régression) :

• Perte d'entropie croisée (pour la classification) :

où :

• $y_i$ est la véritable étiquette ;
• $\hat{y}_i$ est la probabilité prédite.

Processus d'entraînement

1. Initialisation aléatoire des poids ;
2. Propagation avant pour calculer les prédictions ;
3. Calcul de la perte à l'aide de la fonction de perte choisie ;
4. Utilisation de la rétropropagation pour calculer les mises à jour des poids ;
5. Mise à jour des poids à l'aide de la descente de gradient ;
6. Répétition pendant plusieurs époques jusqu'à la convergence du réseau.

Le théorème d’approximation universelle et l’apprentissage profond

Théorème d’approximation universelle

Le théorème d’approximation universelle stipule qu’un réseau de neurones avec au moins une couche cachée peut approximer toute fonction continue, à condition de disposer d’un nombre suffisant de neurones et de poids appropriés. Cela justifie la capacité des RNA à modéliser des relations hautement complexes.

Apprentissage profond et son importance

L’apprentissage profond étend les RNA en ajoutant de nombreuses couches cachées, ce qui leur permet de :

• Extraire des caractéristiques hiérarchiques (utile en traitement d’images et en TALN);
• Modéliser des distributions de probabilité complexes (essentiel pour l’IA générative);
• Apprendre sans ingénierie manuelle des caractéristiques (comme observé dans l’apprentissage auto-supervisé).

Conclusion

Ce chapitre a présenté les principes fondamentaux des RNA, en mettant l’accent sur leur structure, leur processus d’apprentissage et leur importance dans l’apprentissage profond. Ces concepts constituent la base des techniques avancées d’IA générative telles que les GAN et les VAE, qui reposent sur les réseaux de neurones pour générer des données réalistes.