Inzicht in Diffusie-gebaseerde Generatie

Diffusiemodellen vormen een krachtig type AI-model dat data genereert – met name afbeeldingen – door te leren hoe een proces van het toevoegen van willekeurige ruis om te keren. Stel je voor dat je een heldere afbeelding langzaam ziet vervagen tot ruis, zoals statisch beeld op een televisie. Een diffusiemodel leert het tegenovergestelde te doen: het neemt afbeeldingen met ruis en reconstrueert stap voor stap het oorspronkelijke beeld door de ruis te verwijderen.

Het proces omvat twee hoofd fasen:

• Voorwaarts proces (diffusie): voegt geleidelijk willekeurige ruis toe aan een afbeelding over meerdere stappen, waardoor deze wordt omgezet in pure ruis;
• Omgekeerd proces (denoising): een neuraal netwerk leert de ruis stap voor stap te verwijderen, waardoor het oorspronkelijke beeld uit de ruis wordt gereconstrueerd.

Diffusiemodellen staan bekend om hun vermogen om afbeeldingen van hoge kwaliteit en realistische aard te produceren. De training is doorgaans stabieler in vergelijking met modellen zoals GANs, wat ze zeer aantrekkelijk maakt binnen moderne generatieve AI.

Denoising Diffusion Probabilistic Models (DDPMs)

Denoising diffusion probabilistische modellen (DDPMs) zijn een populair type diffusiemodel dat probabilistische principes en deep learning toepast om ruis uit afbeeldingen te verwijderen op een stapsgewijze manier.

Voorwaarts Proces

In het voorwaartse proces beginnen we met een echte afbeelding $x_0$ en voegen we geleidelijk Gaussische ruis toe over $T$ tijdstappen:

Waarbij:

• $x_t$: ruisversie van de invoer op tijdstap;
• $\beta_t$: klein variantieschema dat bepaalt hoeveel ruis wordt toegevoegd;
• $\mathcal{N}$: Gaussische verdeling.

De totale toegevoegde ruis tot stap kan ook als volgt worden uitgedrukt:

Waarbij:

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Omgekeerd Proces

Het doel van het model is om het omgekeerde van dit proces te leren. Een neuraal netwerk geparametriseerd door $\theta$ voorspelt het gemiddelde en de variantie van de gedenoisede distributie:

waarbij:

• $x_t$: ruisachtig beeld op tijdstip $t$;
• $x_{t-1}$: voorspeld minder ruisachtig beeld op stap $t-1$;
• $\mu_\theta$: voorspeld gemiddelde van het neuraal netwerk;
• $\Sigma_\theta$: voorspelde variantie van het neuraal netwerk.

Verliesfunctie

Training omvat het minimaliseren van het verschil tussen de werkelijke ruis en de door het model voorspelde ruis met behulp van het volgende doel:

waarbij:

• $x_t$: originele invoerafbeelding;
• $\epsilon$: willekeurige Gaussische ruis;
• $t$: tijdstap tijdens diffusie;
• $\epsilon_\theta$: voorspelling van ruis door het neuraal netwerk;
• $\={\alpha}_t$: product van ruisparameterschema tot stap $t$.

Dit helpt het model beter te worden in het verwijderen van ruis, waardoor het vermogen om realistische data te genereren verbetert.

Score-gebaseerde Generatieve Modellering

Score-gebaseerde modellen vormen een andere klasse van diffusie modellen. In plaats van direct het omgekeerde ruisproces te leren, leren ze de scorefunctie:

waarbij:

• $\nabla_x\log{p(x)}$: de gradiënt van de log-kansdichtheid ten opzichte van invoer $x$. Dit wijst in de richting van toenemende waarschijnlijkheid onder de datadistributie;
• $p(x)$: de kansverdeling van de data.

Deze functie geeft het model aan in welke richting het beeld moet bewegen om meer op echte data te lijken. Deze modellen gebruiken vervolgens een bemonsteringsmethode zoals Langevin-dynamica om ruisachtige data geleidelijk naar gebieden met hoge waarschijnlijkheid te verplaatsen.

Score-gebaseerde modellen werken vaak in continue tijd met behulp van stochastische differentiaalvergelijkingen (SDE's). Deze continue benadering biedt flexibiliteit en kan hoogwaardige generaties opleveren voor verschillende datatypes.

Toepassingen in Hoge-Resolutie Beeldgeneratie

Diffusiemodellen hebben generatieve taken getransformeerd, met name in de generatie van beelden met hoge resolutie. Opvallende toepassingen zijn:

• Stable Diffusion: een latent diffusiemodel dat beelden genereert op basis van tekstprompts. Het combineert een U-Net-gebaseerd denoisingmodel met een variational autoencoder (VAE) om in de latente ruimte te werken;
• DALL·E 2: combineert CLIP-embeddings en diffusiegebaseerde decodering om zeer realistische en semantische beelden te genereren vanuit tekst;
• MidJourney: een diffusiemodel-gebaseerd platform voor beeldgeneratie, bekend om het produceren van hoogwaardige, artistiek gestileerde visuals op basis van abstracte of creatieve prompts.

Deze modellen worden gebruikt voor kunstgeneratie, fotorealistische synthese, inpainting, superresolutie en meer.

Samenvatting

Diffusiemodellen markeren een nieuw tijdperk in generatief modelleren door gegevensgeneratie te benaderen als een stochastisch proces in omgekeerde tijd. Door DDPM's en score-gebaseerde modellen bereiken ze robuuste training, hoge samplekwaliteit en overtuigende resultaten over diverse modaliteiten. Hun basis in probabilistische en thermodynamische principes maakt ze zowel wiskundig elegant als praktisch krachtig.