Las distribuciones de probabilidad y la aleatoriedad son fundamentales en los modelos generativos, permitiendo que los sistemas de IA creen resultados diversos y realistas. En lugar de definir explícitamente la teoría de la probabilidad, este capítulo se centra en cómo se utiliza la probabilidad en la IA generativa para modelar la incertidumbre, muestrear datos y entrenar modelos generativos.

Papel de las distribuciones de probabilidad en la IA generativa

Los modelos generativos dependen de las distribuciones de probabilidad para aprender patrones de datos y generar nuevas muestras. Las ideas clave incluyen:

• Representación en espacio latente: muchos modelos generativos (por ejemplo, VAE, GAN) mapean los datos de entrada a una distribución de probabilidad de menor dimensión. El muestreo de esta distribución genera nuevos puntos de datos;
• Estimación de verosimilitud: los modelos probabilísticos estiman la probabilidad de observar un punto de datos dado una distribución aprendida, guiando el entrenamiento;
• Muestreo y generación: el proceso de extraer muestras aleatorias de distribuciones aprendidas para crear nuevos datos sintéticos.

Conceptos matemáticos clave:

Para una distribución de probabilidad $p(x)$, la verosimilitud de los datos $X$ dados los parámetros del modelo $\theta$ es:

Maximizar esta verosimilitud ayuda a los modelos generativos a aprender patrones a partir de los datos. En la IA generativa, los modelos suelen asumir formas específicas de distribuciones de probabilidad—como la gaussiana, bernoulli o categórica—para representar los datos. La elección de la distribución afecta cómo los modelos aprenden y generan nuevas muestras. Por ejemplo, en la generación de texto, se utilizan distribuciones categóricas para modelar la probabilidad de cada palabra posible dada las palabras anteriores.

Aleatoriedad y ruido en modelos generativos

El ruido desempeña un papel fundamental en la IA generativa, asegurando diversidad y mejorando la robustez:

• Ruido latente en GANs: en las GANs, un vector de ruido $z \sim p(x)$ (a menudo muestreado de una distribución gaussiana o uniforme) se transforma en muestras realistas a través del generador. Esta aleatoriedad garantiza variación en las imágenes generadas;
• Inferencia variacional en VAEs: los VAEs introducen ruido gaussiano en el espacio latente, permitiendo una interpolación suave entre muestras generadas. Esto asegura que pequeños cambios en las variables latentes resulten en variaciones significativas en las salidas;
• Modelos de difusión y procesos estocásticos: estos modelos aprenden a revertir un proceso gradual de adición de ruido para generar datos de alta calidad. Refinando iterativamente entradas ruidosas, pueden generar imágenes complejas y realistas.

Ejemplo: espacio latente gaussiano en VAEs

En los VAEs, el codificador produce parámetros para una distribución gaussiana:

En lugar de utilizar un mapeo determinista, los VAE muestrean de esta distribución, introduciendo aleatoriedad controlada que permite una generación diversa. Esta técnica permite a los VAE generar nuevos rostros interpolando entre diferentes representaciones en el espacio latente.

Métodos de muestreo en IA generativa

Las técnicas de muestreo son fundamentales para generar nuevos puntos de datos a partir de distribuciones aprendidas:

• Muestreo de Monte Carlo: utilizado en modelos probabilísticos como la inferencia bayesiana para aproximar expectativas. La integración de Monte Carlo estima una expectativa como:

donde $X_i$ son muestreados de la distribución objetivo.

• Truco de reparametrización: en los VAE, asegura el flujo de gradientes a través de nodos estocásticos al expresar $z$ como:

Este truco permite una retropropagación eficiente a través de capas estocásticas.

• Muestreo Ancestral: en modelos autorregresivos (por ejemplo, GPT), las muestras se generan secuencialmente basándose en probabilidades condicionales. Por ejemplo, al generar texto, un modelo predice la siguiente palabra dadas las anteriores:

Este proceso secuencial garantiza coherencia en el texto generado.

Ejemplo: Muestreo Ancestral en la Generación de Texto

Suponga que se entrena un modelo generativo para generar oraciones en inglés. Dada la entrada "The cat", el modelo selecciona la siguiente palabra a partir de una distribución de probabilidad aprendida, produciendo salidas como:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Cada predicción de la siguiente palabra depende de las palabras generadas previamente, creando secuencias significativas.

Aplicaciones Prácticas en IA Generativa

• GANs: utilizan vectores de ruido para generar imágenes de alta resolución;
• VAEs: codifican datos en una distribución de probabilidad para una interpolación suave en el espacio latente;
• Modelos de Difusión: emplean la eliminación estocástica de ruido para generar imágenes de manera iterativa;
• Modelos Generativos Bayesianos: modelan la incertidumbre en tareas generativas.

Conclusión

La probabilidad y la aleatoriedad son la base de la IA Generativa, permitiendo que los modelos aprendan distribuciones, generen salidas diversas y aproximen la variabilidad del mundo real. Los próximos capítulos profundizarán en estos conceptos para explorar el modelado probabilístico, las redes neuronales y las arquitecturas generativas.