Compréhension de la génération basée sur la diffusion

Les modèles de diffusion représentent une catégorie puissante de modèles d’IA capables de générer des données – en particulier des images – en apprenant à inverser un processus d’ajout de bruit aléatoire. Imaginez observer une image nette devenir progressivement floue, comme des parasites sur un téléviseur. Un modèle de diffusion apprend à faire l’inverse : il prend des images bruitées et reconstruit l’image d’origine en supprimant le bruit étape par étape.

Le processus comprend deux phases principales :

• Processus direct (diffusion) : ajoute progressivement du bruit aléatoire à une image sur de nombreuses étapes, la corrompant jusqu’à obtenir un bruit pur ;
• Processus inverse (dénoyautage) : un réseau de neurones apprend à supprimer le bruit étape par étape, reconstruisant l’image d’origine à partir de la version bruitée.

Les modèles de diffusion sont reconnus pour leur capacité à produire des images de haute qualité et réalistes. Leur entraînement est généralement plus stable que celui des modèles tels que les GAN, ce qui les rend particulièrement attractifs dans l’IA générative moderne.

Modèles probabilistes de diffusion pour le débruitage (DDPM)

Les modèles probabilistes de diffusion pour le débruitage (DDPM, pour Denoising Diffusion Probabilistic Models) constituent une catégorie populaire de modèles de diffusion qui appliquent des principes probabilistes et l’apprentissage profond pour supprimer le bruit des images de manière progressive.

Processus direct

Dans le processus direct, on commence avec une image réelle $x_0$ et on ajoute progressivement du bruit gaussien sur $T$ pas de temps :

Où :

• $x_t$ : version bruitée de l'entrée à l'instant t ;
• $\beta_t$ : planning de faible variance contrôlant la quantité de bruit ajoutée ;
• $\mathcal{N}$ : distribution gaussienne.

Le bruit total ajouté jusqu'à l'étape t peut également s'exprimer comme suit :

Où :

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Processus inverse

L'objectif du modèle est d'apprendre l'inverse de ce processus. Un réseau de neurones paramétré par $\theta$ prédit la moyenne et la variance de la distribution débruitée :

où :

• $x_t$ : image bruitée à l'instant $t$ ;
• $x_{t-1}$ : image prédite moins bruitée à l'instant $t-1$ ;
• $\mu_\theta$ : moyenne prédite par le réseau de neurones ;
• $\Sigma_\theta$ : variance prédite par le réseau de neurones.

Fonction de perte

L'entraînement consiste à minimiser la différence entre le bruit réel et le bruit prédit par le modèle en utilisant l'objectif suivant :

où :

• $x_t$ : image d'entrée originale ;
• $\epsilon$ : bruit gaussien aléatoire ;
• $t$ : étape temporelle pendant la diffusion ;
• $\epsilon_\theta$ : prédiction du bruit par le réseau de neurones ;
• $\={\alpha}_t$ : produit des paramètres du planning de bruit jusqu'à l'étape $t$.

Cela permet au modèle de mieux débruiter, améliorant ainsi sa capacité à générer des données réalistes.

Modélisation générative basée sur le score

Les modèles basés sur le score constituent une autre catégorie de modèles de diffusion. Au lieu d'apprendre directement le processus inverse du bruit, ils apprennent la fonction score :

où :

• $\nabla_x\log{p(x)}$ : gradient de la densité de probabilité logarithmique par rapport à l'entrée $x$. Cela indique la direction d'augmentation de la vraisemblance selon la distribution des données ;
• $p(x)$ : distribution de probabilité des données.

Cette fonction indique au modèle dans quelle direction l'image doit évoluer pour ressembler davantage à des données réelles. Ces modèles utilisent ensuite une méthode d'échantillonnage telle que la dynamique de Langevin pour déplacer progressivement les données bruitées vers des régions de données à forte probabilité.

Les modèles basés sur le score fonctionnent souvent en temps continu à l'aide d'équations différentielles stochastiques (EDS). Cette approche continue offre de la flexibilité et permet de générer des résultats de haute qualité sur divers types de données.

Applications dans la génération d’images haute résolution

Les modèles de diffusion ont révolutionné les tâches génératives, en particulier dans la génération visuelle haute résolution. Les applications notables incluent :

• Stable Diffusion : un modèle de diffusion latente qui génère des images à partir d’instructions textuelles. Il combine un modèle de débruitage basé sur U-Net avec un autoencodeur variationnel (VAE) pour opérer dans l’espace latent ;
• DALL·E 2 : combine des embeddings CLIP et un décodage basé sur la diffusion pour générer des images hautement réalistes et sémantiques à partir de texte ;
• MidJourney : une plateforme de génération d’images basée sur la diffusion, reconnue pour produire des visuels de haute qualité au style artistique à partir d’instructions abstraites ou créatives.

Ces modèles sont utilisés pour la génération artistique, la synthèse photoréaliste, l’inpainting, la super-résolution, et plus encore.

Résumé

Les modèles de diffusion définissent une nouvelle ère de modélisation générative en traitant la génération de données comme un processus stochastique inversé dans le temps. Grâce aux DDPM et aux modèles basés sur le score, ils atteignent un entraînement robuste, une haute qualité d’échantillons et des résultats convaincants sur diverses modalités. Leur fondement dans les principes probabilistes et thermodynamiques les rend à la fois élégants sur le plan mathématique et puissants en pratique.