Autoencodeurs et Autoencodeurs Variationnels

Les autoencodeurs sont des réseaux de neurones conçus pour apprendre des représentations efficaces des données à travers des processus d'encodage et de décodage. Un autoencodeur standard se compose de deux éléments :

1. Encodeur : compresse les données d'entrée en une représentation de dimension inférieure.
2. Décodeur : reconstruit les données originales à partir de la représentation compressée.

Les autoencodeurs traditionnels apprennent des mappages déterministes, ce qui signifie qu'ils compressent les données dans un espace latent fixe. Cependant, ils rencontrent des difficultés à générer des sorties diversifiées, car leur espace latent manque de structure et de régularité.

Différences entre les autoencodeurs standards et les VAE

Les autoencodeurs variationnels (VAE) améliorent les autoencodeurs standards en introduisant un espace latent probabiliste, permettant une génération structurée et significative de nouvelles données.

Structure encodeur-décodeur et représentation de l’espace latent

Les VAE se composent de deux éléments principaux :

1. Encodeur : Associe les données d’entrée à une distribution de probabilité sur un espace latent de dimension inférieure $z$.
2. Décodeur : Échantillonne à partir de l’espace latent et reconstruit les données d’entrée.

Formulation mathématique :

L’encodeur produit une moyenne et une variance pour l’espace latent :

où :

• $\mu$ désigne la moyenne de la distribution de l’espace latent ;
• $\sigma^2$ désigne la variance ;
• $f_\mu$ et $f_\sigma$ sont des fonctions paramétrées par $\theta$, généralement implémentées sous forme de réseaux de neurones.

Au lieu de transmettre directement ces paramètres au décodeur, on échantillonne à partir d'une distribution gaussienne en utilisant l’astuce de reparamétrisation :

où :

• $\odot$ désigne la multiplication élément par élément ;
• $\epsilon$ est une variable aléatoire tirée d'une distribution normale standard.

Cette astuce permet la propagation du gradient à travers le processus d’échantillonnage, rendant la rétropropagation possible. Sans cette astuce, l’opération d’échantillonnage stochastique rendrait l’apprentissage par gradient impossible.

Le décodeur reconstruit l’entrée à partir de $z$ en apprenant une fonction $g(z; \phi)$, qui produit les paramètres de la distribution des données. Le réseau du décodeur est entraîné à minimiser la différence entre les données reconstruites et les données originales, garantissant ainsi des reconstructions de haute qualité.

Modélisation probabiliste dans les VAE

Les VAE reposent sur l'inférence bayésienne, qui leur permet de modéliser la relation entre les données observées $x$ et les variables latentes $z$ à l'aide de distributions de probabilité. Le principe fondamental s'appuie sur le théorème de Bayes :

Comme le calcul de $p(x)$ nécessite une intégration sur toutes les variables latentes possibles, ce qui est infaisable, les VAE approchent l'a posteriori $p(z∣x)$ par une fonction plus simple $q(z∣x)$, permettant une inférence efficace.

Evidence Lower Bound (ELBO)

Au lieu de maximiser la vraisemblance marginale infaisable $p(x)$, les VAE maximisent sa borne inférieure, appelée Evidence Lower Bound (ELBO) :

où :

• Le premier terme, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, correspond à la perte de reconstruction, garantissant que la sortie ressemble à l'entrée ;
• Le second terme, $D_{KL}(q(z|x)\ ||\ p(z))$, est la divergence de KL, qui régularise l'espace latent en s'assurant que $q(z∣x)$ reste proche du prior $p(z)$.

En équilibrant ces deux termes, les VAE réalisent un compromis entre des reconstructions précises et des représentations latentes lisses.

Applications des VAE

1. Détection d'anomalies

Les VAE peuvent apprendre la structure normale des données. Lorsqu'ils rencontrent des entrées anormales, le modèle a du mal à les reconstruire, ce qui entraîne des erreurs de reconstruction plus élevées, utilisables pour détecter les valeurs aberrantes.

2. Synthèse d'images

Les VAE peuvent générer de nouvelles images en échantillonnant depuis l'espace latent appris. Ils sont largement utilisés dans des applications telles que :

• Génération de visages (par exemple, génération de nouveaux visages humains) ;
• Transfert de style (par exemple, mélange de styles artistiques).

3. Génération de texte

Les VAE peuvent être adaptés aux tâches de traitement du langage naturel (NLP), où ils servent à générer des séquences de texte diverses et cohérentes.

4. Découverte de médicaments

Les VAE ont été appliqués en bioinformatique et en découverte de médicaments, où ils génèrent des structures moléculaires possédant des propriétés souhaitées.

Conclusion

Les autoencodeurs variationnels constituent une classe puissante de modèles génératifs qui introduisent la modélisation probabiliste dans les autoencodeurs. Leur capacité à générer des données diverses et réalistes en fait un élément fondamental de l'IA générative moderne.

Comparés aux autoencodeurs traditionnels, les VAE offrent un espace latent structuré, améliorant les capacités génératives. Avec l'avancée de la recherche, les VAE continuent de jouer un rôle crucial dans les applications de l'IA couvrant la vision par ordinateur, le NLP et au-delà.