Autoencoders y Autoencoders Variacionales

Los autoencoders son redes neuronales diseñadas para aprender representaciones eficientes de los datos mediante procesos de codificación y decodificación. Un autoencoder estándar consta de dos componentes:

1. Codificador: comprime los datos de entrada en una representación de menor dimensión.
2. Decodificador: reconstruye los datos originales a partir de la representación comprimida.

Los autoencoders tradicionales aprenden mapeos deterministas, lo que significa que comprimen los datos en un espacio latente fijo. Sin embargo, presentan dificultades para generar salidas diversas, ya que su espacio latente carece de estructura y suavidad.

Diferencias entre Autoencoders Estándar y VAEs

Los Autoencoders Variacionales (VAEs) mejoran los autoencoders estándar al introducir un espacio latente probabilístico, lo que permite una generación estructurada y significativa de nuevos datos.

Estructura Codificador-Decodificador y Representación del Espacio Latente

Los VAE constan de dos componentes principales:

1. Codificador: Asocia los datos de entrada a una distribución de probabilidad sobre un espacio latente de menor dimensión $z$.
2. Decodificador: Muestra desde el espacio latente y reconstruye los datos de entrada.

Formulación Matemática:

El codificador produce una media y una varianza para el espacio latente:

donde:

• $\mu$ representa la media de la distribución del espacio latente;
• $\sigma^2$ representa la varianza;
• $f_\mu$ y $f_\sigma$ son funciones parametrizadas por $\theta$, normalmente implementadas como redes neuronales.

En lugar de pasar directamente estos parámetros al decodificador, se realiza un muestreo de una distribución gaussiana utilizando el truco de reparametrización:

donde:

• $\odot$ representa la multiplicación elemento a elemento;
• $\epsilon$ es una variable aleatoria extraída de una distribución normal estándar.

Este truco permite que los gradientes se propaguen a través del proceso de muestreo, haciendo posible la retropropagación. Sin este truco, la operación de muestreo estocástico haría inviable el aprendizaje basado en gradientes.

El decodificador reconstruye la entrada a partir de $z$ aprendiendo una función $g(z; \phi)$, que produce los parámetros de la distribución de los datos. La red del decodificador se entrena para minimizar la diferencia entre los datos reconstruidos y los originales, asegurando reconstrucciones de alta calidad.

Modelado probabilístico en VAEs

Los VAEs se basan en la inferencia bayesiana, lo que les permite modelar la relación entre los datos observados $x$ y las variables latentes $z$ utilizando distribuciones de probabilidad. El principio fundamental se basa en el teorema de Bayes:

Dado que calcular $p(x)$ requiere integrar sobre todas las posibles variables latentes, lo cual es intratable, los VAEs aproximan la posteriori $p(z∣x)$ con una función más simple $q(z∣x)$, permitiendo una inferencia eficiente.

Cota Inferior de la Evidencia (ELBO)

En lugar de maximizar la verosimilitud marginal intratable $p(x)$, los VAEs maximizan su cota inferior, denominada Cota Inferior de la Evidencia (ELBO):

donde:

• El primer término, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, es la pérdida de reconstrucción, que asegura que la salida se asemeje a la entrada;
• El segundo término, $D_{KL}(q(z|x)\ ||\ p(z))$, es la divergencia KL, que regulariza el espacio latente asegurando que $q(z∣x)$ permanezca cercano al prior $p(z)$.

Al equilibrar estos dos términos, los VAE logran un compromiso entre reconstrucciones precisas y representaciones suaves del espacio latente.

Aplicaciones de los VAE

1. Detección de anomalías

Los VAE pueden aprender la estructura normal de los datos. Al encontrar entradas anómalas, el modelo tiene dificultades para reconstruirlas, lo que conduce a errores de reconstrucción más altos, útiles para detectar valores atípicos.

2. Síntesis de imágenes

Los VAE pueden generar nuevas imágenes muestreando del espacio latente aprendido. Se utilizan ampliamente en aplicaciones como:

• Generación de rostros (por ejemplo, generación de nuevos rostros humanos);
• Transferencia de estilo (por ejemplo, combinación de estilos artísticos).

3. Generación de texto

Los VAE pueden adaptarse para tareas de procesamiento de lenguaje natural (PLN), donde se utilizan para generar secuencias de texto diversas y coherentes.

4. Descubrimiento de fármacos

Los VAE se han aplicado en bioinformática y descubrimiento de fármacos, donde generan estructuras moleculares con propiedades deseadas.

Conclusión

Los Autoencoders Variacionales son una clase poderosa de modelos generativos que introducen el modelado probabilístico en los autoencoders. Su capacidad para generar datos diversos y realistas los ha convertido en un componente fundamental de la IA generativa moderna.

En comparación con los autoencoders tradicionales, los VAE proporcionan un espacio latente estructurado, mejorando las capacidades generativas. A medida que avanza la investigación, los VAE continúan desempeñando un papel crucial en aplicaciones de IA que abarcan visión por computadora, PLN y más allá.