Les distributions de probabilité et l'aléa sont au cœur des modèles génératifs, permettant aux systèmes d'IA de produire des résultats variés et réalistes. Plutôt que de définir explicitement la théorie des probabilités, ce chapitre se concentre sur l'utilisation de la probabilité dans l'IA générative pour modéliser l'incertitude, échantillonner des données et entraîner des modèles génératifs.

Rôle des distributions de probabilité dans l'IA générative

Les modèles génératifs s'appuient sur les distributions de probabilité pour apprendre les motifs des données et générer de nouveaux échantillons. Les concepts clés incluent :

• Représentation dans l'espace latent : de nombreux modèles génératifs (par exemple, VAE, GAN) projettent les données d'entrée dans une distribution de probabilité de dimension inférieure. L'échantillonnage à partir de cette distribution permet de générer de nouveaux points de données ;
• Estimation de la vraisemblance : les modèles probabilistes estiment la probabilité d'observer un point de données à partir d'une distribution apprise, ce qui oriente l'entraînement ;
• Échantillonnage et génération : processus consistant à tirer des échantillons aléatoires à partir de distributions apprises pour créer de nouvelles données synthétiques.

Concepts mathématiques clés :

Pour une distribution de probabilité $p(x)$, la vraisemblance des données $X$ étant donné les paramètres du modèle $\theta$ est :

La maximisation de cette vraisemblance permet aux modèles génératifs d'apprendre les motifs à partir des données. En intelligence artificielle générative, les modèles supposent souvent des formes spécifiques de distributions de probabilité—telles que gaussienne, de Bernoulli ou catégorielle—pour représenter les données. Le choix de la distribution influence la manière dont les modèles apprennent et génèrent de nouveaux échantillons. Par exemple, dans la génération de texte, les distributions catégorielles sont utilisées pour modéliser la probabilité de chaque mot possible en fonction des mots précédents.

Aléa et bruit dans les modèles génératifs

Le bruit joue un rôle essentiel en intelligence artificielle générative, garantissant la diversité et améliorant la robustesse :

• Bruit latent dans les GANs : dans les GANs, un vecteur de bruit $z \sim p(x)$ (souvent échantillonné à partir d'une distribution gaussienne ou uniforme) est transformé en échantillons réalistes par le générateur. Cet aléa assure la variation dans les images générées ;
• Inférence variationnelle dans les VAEs : les VAEs introduisent un bruit gaussien dans l'espace latent, permettant une interpolation fluide entre les échantillons générés. Cela garantit que de légers changements dans les variables latentes entraînent des variations significatives dans les sorties ;
• Modèles de diffusion et processus stochastiques : ces modèles apprennent à inverser un processus d'ajout progressif de bruit pour générer des données de haute qualité. En affinant itérativement des entrées bruitées, ils peuvent générer des images complexes et réalistes.

Exemple : espace latent gaussien dans les VAEs

Dans les VAEs, l'encodeur produit les paramètres d'une distribution gaussienne :

Au lieu d'utiliser un mappage déterministe, les VAE échantillonnent à partir de cette distribution, introduisant une part de hasard contrôlée qui permet une génération diversifiée. Cette technique permet aux VAE de générer de nouveaux visages en interpolant entre différentes représentations dans l'espace latent.

Méthodes d'échantillonnage en IA générative

Les techniques d'échantillonnage sont essentielles pour générer de nouveaux points de données à partir de distributions apprises :

• Échantillonnage de Monte Carlo : utilisé dans les modèles probabilistes comme l'inférence bayésienne pour approximer des espérances. L'intégration de Monte Carlo estime une espérance comme suit :

où $X_i$ sont échantillonnés à partir de la distribution cible.

• Astuce de reparamétrisation : dans les VAE, garantit la propagation du gradient à travers les nœuds stochastiques en exprimant $z$ comme :

Cette astuce permet une rétropropagation efficace à travers les couches stochastiques.

• Échantillonnage ancestral : dans les modèles autorégressifs (par exemple, GPT), les échantillons sont générés séquentiellement en fonction des probabilités conditionnelles. Par exemple, lors de la génération de texte, un modèle prédit le mot suivant à partir des précédents :

Ce processus séquentiel garantit la cohérence du texte généré.

Exemple : Échantillonnage ancestral dans la génération de texte

Supposons que l’on entraîne un modèle génératif à produire des phrases en anglais. Étant donné l’entrée « The cat », le modèle échantillonne le mot suivant à partir d’une distribution de probabilité apprise, produisant des sorties telles que :

• « The cat sleeps. »
• « The cat jumps. »
• « The cat is hungry. »

Chaque prédiction du mot suivant dépend des mots générés précédemment, créant ainsi des séquences cohérentes.

Applications pratiques en IA générative

• GANs : utilisent des vecteurs de bruit pour générer des images haute résolution ;
• VAE : encodent les données dans une distribution de probabilité pour une interpolation fluide dans l’espace latent ;
• Modèles de diffusion : utilisent la suppression stochastique du bruit pour générer des images de manière itérative ;
• Modèles génératifs bayésiens : modélisent l’incertitude dans les tâches génératives.

Conclusion

La probabilité et l'aléa constituent la base de l'IA générative, permettant aux modèles d'apprendre des distributions, de générer des sorties variées et d'approximer la variabilité du monde réel. Les prochains chapitres approfondiront ces concepts pour explorer la modélisation probabiliste, les réseaux de neurones et les architectures génératives.