Les réseaux de neurones ont révolutionné le domaine de l'apprentissage automatique et de l'intelligence artificielle, offrant des solutions à des problèmes auparavant considérés comme difficiles voire impossibles à résoudre. Il existe de nombreuses architectures de réseaux de neurones, chacune adaptée à des types de tâches spécifiques.

Réseaux de neurones à propagation avant (FNN) ou Perceptrons multicouches (MLP)

Il s'agit d'une architecture classique de réseau de neurones, une extension directe du perceptron monocouche vers plusieurs couches. Ce sont les architectures fondamentales sur lesquelles la plupart des autres types de réseaux de neurones sont construits. C'est l'architecture que nous avons étudiée dans ce cours.

Réseaux de neurones convolutifs (CNN)

Les CNN sont particulièrement performants pour des tâches telles que le traitement d'images (problèmes comme la classification d'images, la segmentation d'images, etc.) car ils sont conçus pour apprendre automatiquement et de manière adaptative les hiérarchies spatiales de caractéristiques.

Ils utilisent des couches de convolution pour filtrer les entrées à la recherche d'informations pertinentes. Ces couches de convolution peuvent capturer les caractéristiques spatiales d'une image telles que les contours, les coins, les textures, etc. Bien que leur principal succès soit dans le domaine de la classification d'images, ils possèdent également d'autres applications.

Réseaux de neurones récurrents (RNN)

Les RNN possèdent des boucles permettant la persistance de l'information. Contrairement aux réseaux de neurones à propagation avant, les RNN peuvent utiliser leur état interne (mémoire) pour traiter des séquences d'entrées, ce qui les rend extrêmement utiles pour les séries temporelles ou les données séquentielles. Ils sont largement utilisés pour les problèmes de prédiction de séquences, tels que le traitement du langage naturel ou la reconnaissance vocale.

Variantes des RNN

1. Long short-term memory (LSTM) : résout le problème du gradient qui disparaît dans les RNN, facilitant l'apprentissage des dépendances à long terme ;
2. Unités récurrentes à portes (GRU) : une variante plus simple et plus efficace du LSTM. Cependant, elle apprend moins bien les motifs complexes dans les données que le LSTM.

Bibliothèques pour l'apprentissage profond

L'entraînement de réseaux de neurones profonds nécessite plus que ce qu'offre la bibliothèque classique de machine learning scikit-learn. Les bibliothèques les plus couramment utilisées pour travailler avec des réseaux de neurones profonds sont TensorFlow et PyTorch. Voici les principales raisons pour lesquelles elles sont privilégiées pour cette tâche :

1. Performance et évolutivité : TensorFlow et PyTorch sont conçus spécifiquement pour entraîner des modèles sur de grandes quantités de données et peuvent fonctionner efficacement sur des unités de traitement graphique (GPU), ce qui accélère l'entraînement ;

2. Flexibilité : contrairement à scikit-learn, TensorFlow et PyTorch permettent de créer des architectures de réseaux de neurones arbitraires, y compris des structures récurrentes, convolutionnelles et de type transformeur ;

3. Différentiation automatique : l'une des fonctionnalités clés de ces bibliothèques est la capacité à calculer automatiquement les gradients, ce qui est essentiel pour optimiser les poids dans les réseaux de neurones.