Distribuições de probabilidade e aleatoriedade estão no cerne dos modelos generativos, permitindo que sistemas de IA criem resultados diversos e realistas. Em vez de definir explicitamente a teoria das probabilidades, este capítulo foca em como a probabilidade é utilizada na IA Generativa para modelar incertezas, amostrar dados e treinar modelos generativos.

Papel das Distribuições de Probabilidade na IA Generativa

Modelos generativos dependem de distribuições de probabilidade para aprender padrões dos dados e gerar novas amostras. Os principais conceitos incluem:

• Representação em Espaço Latente: muitos modelos generativos (por exemplo, VAEs, GANs) mapeiam dados de entrada para uma distribuição de probabilidade de menor dimensão. A amostragem dessa distribuição gera novos pontos de dados;
• Estimativa de Verossimilhança: modelos probabilísticos estimam a probabilidade de observar um dado ponto a partir de uma distribuição aprendida, orientando o treinamento;
• Amostragem e Geração: processo de extrair amostras aleatórias de distribuições aprendidas para criar novos dados sintéticos.

Conceitos Matemáticos Fundamentais:

Para uma distribuição de probabilidade $p(x)$, a verossimilhança dos dados $X$ dados os parâmetros do modelo $\theta$ é:

Maximizar essa verossimilhança auxilia os modelos generativos a aprender padrões a partir dos dados. Em IA generativa, os modelos frequentemente assumem formas específicas de distribuições de probabilidade—como Gaussiana, Bernoulli ou categórica—para representar os dados. A escolha da distribuição afeta como os modelos aprendem e geram novas amostras. Por exemplo, na geração de texto, distribuições categóricas são utilizadas para modelar a probabilidade de cada palavra possível, dadas as palavras anteriores.

Aleatoriedade e Ruído em Modelos Generativos

O ruído desempenha um papel fundamental na IA generativa, garantindo diversidade e melhorando a robustez:

• Ruído Latente em GANs: em GANs, um vetor de ruído $z \sim p(x)$ (geralmente amostrado de uma distribuição Gaussiana ou Uniforme) é transformado em amostras realistas pelo gerador. Essa aleatoriedade garante variação nas imagens geradas;
• Inferência Variacional em VAEs: VAEs introduzem ruído Gaussiano no espaço latente, permitindo interpolação suave entre amostras geradas. Isso garante que pequenas alterações nas variáveis latentes resultem em variações significativas nas saídas;
• Modelos de Difusão e Processos Estocásticos: Esses modelos aprendem a reverter um processo gradual de adição de ruído para gerar dados de alta qualidade. Ao refinar iterativamente entradas ruidosas, podem gerar imagens complexas e realistas.

Exemplo: Espaço Latente Gaussiano em VAEs

Em VAEs, o codificador retorna parâmetros para uma distribuição Gaussiana:

Em vez de utilizar um mapeamento determinístico, VAEs amostram dessa distribuição, introduzindo aleatoriedade controlada que possibilita geração diversificada. Essa técnica permite que VAEs gerem novos rostos ao interpolar entre diferentes representações no espaço latente.

Métodos de Amostragem em IA Generativa

Técnicas de amostragem são essenciais para gerar novos pontos de dados a partir de distribuições aprendidas:

• Amostragem de Monte Carlo: utilizada em modelos probabilísticos como inferência Bayesiana para aproximar expectativas. A integração de Monte Carlo estima uma expectativa como:

onde $X_i$ são amostrados da distribuição alvo.

• Truque de Reparametrização: em VAEs, garante o fluxo de gradiente através de nós estocásticos ao expressar $z$ como:

Esse truque permite retropropagação eficiente através de camadas estocásticas.

• Amostragem Ancestral: em modelos autoregressivos (por exemplo, GPT), as amostras são geradas sequencialmente com base em probabilidades condicionais. Por exemplo, ao gerar texto, o modelo prevê a próxima palavra considerando as anteriores:

Esse processo sequencial garante coerência no texto gerado.

Exemplo: Amostragem Ancestral na Geração de Texto

Suponha que um modelo generativo seja treinado para gerar frases em inglês. Dado o input "The cat", o modelo amostra a próxima palavra a partir de uma distribuição de probabilidade aprendida, produzindo saídas como:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Cada previsão da próxima palavra depende das palavras geradas anteriormente, criando sequências com significado.

Aplicações Práticas em IA Generativa

• GANs: utilizam vetores de ruído para gerar imagens em alta resolução;
• VAEs: codificam dados em uma distribuição de probabilidade para interpolação suave no espaço latente;
• Modelos de Difusão: utilizam remoção estocástica de ruído para gerar imagens de forma iterativa;
• Modelos Generativos Bayesianos: modelam a incerteza em tarefas generativas.

Conclusão

Probabilidade e aleatoriedade são a base da IA Generativa, permitindo que os modelos aprendam distribuições, gerem saídas diversas e aproximem a variabilidade do mundo real. Os próximos capítulos aprofundarão esses conceitos para explorar modelagem probabilística, redes neurais e arquiteturas generativas.