Autoencoders e Autoencoders Variacionais

Autoencoders são redes neurais projetadas para aprender representações eficientes de dados por meio de processos de codificação e decodificação. Um autoencoder padrão consiste em dois componentes:

1. Codificador: comprime os dados de entrada em uma representação de menor dimensão.
2. Decodificador: reconstrói os dados originais a partir da representação comprimida.

Autoencoders tradicionais aprendem mapeamentos determinísticos, ou seja, comprimem os dados em um espaço latente fixo. No entanto, apresentam dificuldades em gerar saídas diversas, pois seu espaço latente carece de estrutura e suavidade.

Diferenças Entre Autoencoders Padrão e VAEs

Autoencoders Variacionais (VAEs) aprimoram os autoencoders padrão ao introduzir um espaço latente probabilístico, permitindo a geração estruturada e significativa de novos dados.

Estrutura Encoder-Decoder e Representação do Espaço Latente

VAEs consistem em dois componentes principais:

1. Encoder: Mapeia os dados de entrada para uma distribuição de probabilidade em um espaço latente de menor dimensão $z$.
2. Decoder: Amostra do espaço latente e reconstrói os dados de entrada.

Formulação Matemática:

O encoder produz uma média e variância para o espaço latente:

onde:

• $\mu$ representa a média da distribuição do espaço latente;
• $\sigma^2$ representa a variância;
• $f_\mu$ e $f_\sigma$ são funções parametrizadas por $\theta$, normalmente implementadas como redes neurais.

Em vez de passar diretamente esses parâmetros para o decodificador, realizamos uma amostragem a partir de uma distribuição Gaussiana utilizando o truque de reparametrização:

onde:

• $\odot$ representa a multiplicação elemento a elemento;
• $\epsilon$ é uma variável aleatória extraída de uma distribuição normal padrão.

Esse truque permite que os gradientes sejam propagados pelo processo de amostragem, tornando possível a retropropagação. Sem esse truque, a operação estocástica de amostragem tornaria inviável o aprendizado baseado em gradientes.

O decodificador reconstrói a entrada a partir de $z$ aprendendo uma função $g(z; \phi)$, que retorna os parâmetros da distribuição dos dados. A rede do decodificador é treinada para minimizar a diferença entre os dados reconstruídos e os originais, garantindo reconstruções de alta qualidade.

Modelagem Probabilística em VAEs

VAEs são baseados em inferência Bayesiana, o que permite modelar a relação entre os dados observados $x$ e as variáveis latentes $z$ utilizando distribuições de probabilidade. O princípio fundamental é baseado no teorema de Bayes:

Como calcular $p(x)$ exige integrar sobre todas as possíveis variáveis latentes, o que é intratável, os VAEs aproximam o posterior $p(z∣x)$ com uma função mais simples $q(z∣x)$, permitindo inferência eficiente.

Evidence Lower Bound (ELBO)

Em vez de maximizar a verossimilhança marginal intratável $p(x)$, os VAEs maximizam seu limite inferior, chamado de Evidence Lower Bound (ELBO):

onde:

• O primeiro termo, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, é a perda de reconstrução, garantindo que a saída se assemelhe à entrada;
• O segundo termo, $D_{KL}(q(z|x)\ ||\ p(z))$, é a divergência KL, que regulariza o espaço latente ao garantir que $q(z∣x)$ permaneça próximo ao prior $p(z)$.

Ao equilibrar esses dois termos, os VAEs alcançam um compromisso entre reconstruções precisas e representações suaves do espaço latente.

Aplicações de VAEs

1. Detecção de Anomalias

Os VAEs podem aprender a estrutura normal dos dados. Ao encontrar entradas anômalas, o modelo tem dificuldade em reconstruí-las, resultando em maiores erros de reconstrução, que podem ser utilizados para detectar outliers.

2. Síntese de Imagens

Os VAEs podem gerar novas imagens ao amostrar do espaço latente aprendido. São amplamente utilizados em aplicações como:

• Geração de faces (por exemplo, geração de novos rostos humanos);
• Transferência de estilo (por exemplo, mesclagem de estilos artísticos).

3. Geração de Texto

Os VAEs podem ser adaptados para tarefas de processamento de linguagem natural (PLN), onde são utilizados para gerar sequências de texto diversas e coerentes.

4. Descoberta de Fármacos

Os VAEs têm sido aplicados em bioinformática e descoberta de fármacos, onde geram estruturas moleculares com propriedades desejadas.

Conclusão

Os Autoencoders Variacionais são uma classe poderosa de modelos generativos que introduzem modelagem probabilística aos autoencoders. Sua capacidade de gerar dados diversos e realistas os tornou um componente fundamental da IA generativa moderna.

Em comparação com autoencoders tradicionais, os VAEs fornecem um espaço latente estruturado, aprimorando as capacidades generativas. Com o avanço das pesquisas, os VAEs continuam desempenhando um papel crucial em aplicações de IA que abrangem visão computacional, PLN e além.