Comprensione della Generazione Basata sulla Diffusione

I modelli di diffusione rappresentano una potente tipologia di modello di intelligenza artificiale che genera dati – in particolare immagini – apprendendo come invertire un processo di aggiunta di rumore casuale. Si può immaginare di osservare un'immagine pulita che gradualmente diventa sfocata, come il disturbo su uno schermo televisivo. Un modello di diffusione apprende a fare l'opposto: prende immagini rumorose e ricostruisce l'immagine originale rimuovendo il rumore passo dopo passo.

Il processo coinvolge due fasi principali:

• Processo diretto (diffusione): aggiunge gradualmente rumore casuale a un'immagine in molti passaggi, corrompendola fino a trasformarla in puro rumore;
• Processo inverso (denoising): una rete neurale apprende a rimuovere il rumore passo dopo passo, ricostruendo l'immagine originale dalla versione rumorosa.

I modelli di diffusione sono noti per la loro capacità di produrre immagini di alta qualità e realistiche. Il loro addestramento è generalmente più stabile rispetto a modelli come i GAN, il che li rende molto interessanti nell'ambito dell'IA generativa moderna.

Modelli Probabilistici di Diffusione per la Rimozione del Rumore (DDPM)

I modelli probabilistici di diffusione per la rimozione del rumore (DDPM) costituiscono una tipologia diffusa di modello di diffusione che applica principi probabilistici e apprendimento profondo per rimuovere il rumore dalle immagini in modo graduale, passo dopo passo.

Processo Forward

Nel processo forward, si parte da un'immagine reale $x_0$ e si aggiunge gradualmente rumore gaussiano per $T$ intervalli temporali:

Dove:

• $x_t$: versione rumorosa dell'input all'intervallo temporale;
• $\beta_t$: programma di varianza ridotta che controlla la quantità di rumore aggiunto;
• $\mathcal{N}$: distribuzione gaussiana.

È possibile esprimere anche il rumore totale aggiunto fino al passo come:

Dove:

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Processo Reverse

L'obiettivo del modello è apprendere l'inverso di questo processo. Una rete neurale parametrizzata da $\theta$ predice la media e la varianza della distribuzione denoised:

dove:

• $x_t$: immagine rumorosa allo step temporale $t$;
• $x_{t-1}$: immagine prevista con meno rumore allo step $t-1$;
• $\mu_\theta$: media prevista dalla rete neurale;
• $\Sigma_\theta$: varianza prevista dalla rete neurale.

Funzione di Loss

L'addestramento consiste nel minimizzare la differenza tra il rumore reale e quello previsto dal modello utilizzando il seguente obiettivo:

dove:

• $x_t$: immagine di input originale;
• $\epsilon$: rumore gaussiano casuale;
• $t$: step temporale durante la diffusione;
• $\epsilon_\theta$: previsione del rumore da parte della rete neurale;
• $\={\alpha}_t$: prodotto dei parametri dello schedule del rumore fino allo step $t$.

Questo aiuta il modello a migliorare la capacità di denoising, aumentando la sua abilità nel generare dati realistici.

Modellazione Generativa Basata su Score

I modelli basati su score rappresentano un'altra classe di modelli di diffusione. Invece di apprendere direttamente il processo inverso del rumore, apprendono la funzione score:

dove:

• $\nabla_x\log{p(x)}$: gradiente della densità di log-probabilità rispetto all'input $x$. Indica la direzione di aumento della probabilità secondo la distribuzione dei dati;
• $p(x)$: distribuzione di probabilità dei dati.

Questa funzione indica al modello in quale direzione l'immagine dovrebbe muoversi per diventare più simile ai dati reali. Questi modelli utilizzano quindi un metodo di campionamento come la dinamica di Langevin per spostare gradualmente i dati rumorosi verso regioni di alta probabilità.

I modelli basati su score operano spesso in tempo continuo utilizzando equazioni differenziali stocastiche (SDE). Questo approccio continuo offre flessibilità e può produrre generazioni di alta qualità su diversi tipi di dati.

Applicazioni nella Generazione di Immagini ad Alta Risoluzione

I modelli di diffusione hanno rivoluzionato i compiti generativi, in particolare nella generazione visiva ad alta risoluzione. Applicazioni di rilievo includono:

• Stable Diffusion: un modello di diffusione latente che genera immagini a partire da prompt testuali. Combina un modello di denoising basato su U-Net con un autoencoder variazionale (VAE) per operare nello spazio latente;
• DALL·E 2: combina embedding CLIP e decodifica basata su diffusione per generare immagini altamente realistiche e semantiche da testo;
• MidJourney: una piattaforma di generazione di immagini basata su diffusione nota per produrre visuali di alta qualità e stile artistico da prompt astratti o creativi.

Questi modelli sono utilizzati nella generazione artistica, sintesi fotorealistica, inpainting, super-risoluzione e altro ancora.

Sintesi

I modelli di diffusione definiscono una nuova era della modellazione generativa trattando la generazione dei dati come un processo stocastico a tempo inverso. Attraverso DDPM e modelli basati su score, raggiungono un addestramento robusto, alta qualità dei campioni e risultati convincenti su diverse modalità. Il loro fondamento nei principi probabilistici e termodinamici li rende sia matematicamente eleganti che praticamente potenti.