Comprensión de la Generación Basada en Difusión

Los modelos de difusión son un tipo poderoso de modelo de IA que genera datos, especialmente imágenes, aprendiendo a invertir un proceso de adición de ruido aleatorio. Imagine observar cómo una imagen nítida se vuelve gradualmente borrosa, como la estática en un televisor. Un modelo de difusión aprende a hacer lo contrario: toma imágenes ruidosas y reconstruye la imagen original eliminando el ruido paso a paso.

El proceso implica dos fases principales:

• Proceso directo (difusión): añade gradualmente ruido aleatorio a una imagen durante muchos pasos, corrompiéndola hasta convertirla en puro ruido;
• Proceso inverso (eliminación de ruido): una red neuronal aprende a eliminar el ruido paso a paso, reconstruyendo la imagen original a partir de la versión ruidosa.

Los modelos de difusión son conocidos por su capacidad para producir imágenes realistas y de alta calidad. Su entrenamiento suele ser más estable en comparación con modelos como los GAN, lo que los hace muy atractivos en la inteligencia artificial generativa moderna.

Modelos Probabilísticos de Difusión para Eliminación de Ruido (DDPMs)

Los modelos probabilísticos de difusión para eliminación de ruido (DDPMs) son un tipo popular de modelo de difusión que aplican principios probabilísticos y aprendizaje profundo para eliminar el ruido de las imágenes de manera progresiva.

Proceso directo

En el proceso directo, se parte de una imagen real $x_0$ y se añade ruido gaussiano de forma gradual durante $T$ pasos de tiempo:

Donde:

• $x_t$: versión ruidosa de la entrada en el paso de tiempo;
• $\beta_t$: programación de varianza pequeña que controla la cantidad de ruido añadido;
• $\mathcal{N}$: distribución gaussiana.

También se puede expresar el ruido total añadido hasta el paso como:

Donde:

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Proceso inverso

El objetivo del modelo es aprender el proceso inverso. Una red neuronal parametrizada por $\theta$ predice la media y la varianza de la distribución desruida:

donde:

• $x_t$: imagen ruidosa en el paso de tiempo $t$;
• $x_{t-1}$: imagen predicha con menos ruido en el paso $t-1$;
• $\mu_\theta$: media predicha por la red neuronal;
• $\Sigma_\theta$: varianza predicha por la red neuronal.

Función de pérdida

El entrenamiento consiste en minimizar la diferencia entre el ruido real y el ruido predicho por el modelo utilizando el siguiente objetivo:

donde:

• $x_t$: imagen de entrada original;
• $\epsilon$: ruido gaussiano aleatorio;
• $t$: paso de tiempo durante la difusión;
• $\epsilon_\theta$: predicción del ruido por la red neuronal;
• $\={\alpha}_t$: producto de los parámetros del programa de ruido hasta el paso $t$.

Esto ayuda al modelo a mejorar su capacidad de desruido, incrementando su habilidad para generar datos realistas.

Modelado Generativo Basado en Score

Los modelos basados en score son otra clase de modelos de difusión. En lugar de aprender directamente el proceso inverso del ruido, aprenden la función score:

donde:

• $\nabla_x\log{p(x)}$: el gradiente de la densidad de log-probabilidad respecto a la entrada $x$. Esto indica la dirección de mayor probabilidad bajo la distribución de los datos;
• $p(x)$: la distribución de probabilidad de los datos.

Esta función indica al modelo en qué dirección debe moverse la imagen para asemejarse más a los datos reales. Estos modelos utilizan un método de muestreo como la dinámica de Langevin para mover gradualmente los datos ruidosos hacia regiones de alta probabilidad.

Los modelos basados en score suelen operar en tiempo continuo utilizando ecuaciones diferenciales estocásticas (SDEs). Este enfoque continuo proporciona flexibilidad y puede generar resultados de alta calidad en diversos tipos de datos.

Aplicaciones en la Generación de Imágenes de Alta Resolución

Los modelos de difusión han revolucionado las tareas generativas, especialmente en la generación visual de alta resolución. Las aplicaciones más destacadas incluyen:

• Stable Diffusion: un modelo de difusión latente que genera imágenes a partir de indicaciones de texto. Combina un modelo de eliminación de ruido basado en U-Net con un autoencoder variacional (VAE) para operar en el espacio latente;
• DALL·E 2: combina incrustaciones CLIP y decodificación basada en difusión para generar imágenes altamente realistas y semánticas a partir de texto;
• MidJourney: una plataforma de generación de imágenes basada en difusión, reconocida por producir imágenes de alta calidad y estilo artístico a partir de indicaciones abstractas o creativas.

Estos modelos se utilizan en la generación artística, síntesis fotorrealista, inpainting, superresolución y más.

Resumen

Los modelos de difusión definen una nueva era en el modelado generativo al tratar la generación de datos como un proceso estocástico inverso en el tiempo. A través de los DDPM y los modelos basados en score, logran un entrenamiento robusto, alta calidad de muestras y resultados destacados en diversas modalidades. Su fundamento en principios probabilísticos y termodinámicos los hace tanto matemáticamente elegantes como prácticamente potentes.