A avaliação de modelos generativos difere da avaliação de modelos discriminativos, que dependem de métricas de acurácia. Como modelos generativos produzem múltiplas saídas válidas, eles devem ser avaliados quanto à qualidade, diversidade e relevância. Esta seção apresenta as principais métricas utilizadas em pesquisa e na indústria para avaliar modelos generativos em dimensões perceptuais, estatísticas e centradas no ser humano.

Avaliação para Modelos Baseados em Imagem (GANs, VAEs, Difusão)

Métodos de avaliação perceptual e estatística são comumente aplicados a modelos generativos baseados em imagem. Estes ajudam a medir o quão realistas, diversos e bem distribuídos são os resultados gerados em comparação com imagens reais.

Inception Score (IS)

Quantifica tanto a clareza quanto a diversidade das imagens geradas utilizando a confiança de classificação de um modelo Inception pré-treinado.

onde:

• $p(y|x)$ é a distribuição condicional de rótulos para a imagem $x$
• $p(y)$ é a distribuição marginal das classes.

Fréchet Inception Distance (FID)

Mede a similaridade entre as distribuições de imagens reais e geradas utilizando embeddings de características.

onde:

• $\mu$ e $\Sigma$ são a média e a covariância das representações de características.
• $\text{Tr}()$ representa o traço de uma matriz — é a soma dos elementos da diagonal. O traço ajuda a quantificar o quão diferentes são as distribuições de características em termos de dispersão ou forma.

LPIPS

Compara a similaridade visual entre imagens utilizando características de redes neurais profundas.

Avaliação para Modelos Baseados em Texto (Transformers, GPT, BERT)

Modelos de geração de linguagem são avaliados quanto à qualidade, coerência e relevância por meio de métricas estatísticas, semânticas e subjetivas.

BLEU / ROUGE / METEOR

Comparam a sobreposição de n-gramas entre o texto gerado e o texto de referência.

onde:

• $p_n$ é a precisão para n-gramas
• $\text{BP}$ é a penalidade de brevidade.

BERTScore

Mede a similaridade semântica utilizando embeddings contextuais. Utiliza similaridade cosseno entre embeddings contextuais, com agregados de precisão/recall/F1.

Fidelidade ao Prompt

Mede a aderência da saída aos prompts de entrada, especialmente em modelos ajustados por instrução.

Avaliação para Modelos Multimodais (por exemplo, DALL·E, Stable Diffusion)

Modelos multimodais precisam ser avaliados quanto ao alinhamento entre modalidades, como imagem e texto.

CLIPScore

Calcula a similaridade entre embeddings de imagem e embeddings do prompt textual.

onde $f$ são embeddings específicos de cada modalidade.

Fidelidade Prompt-para-Imagem

Mede o quão bem as imagens geradas correspondem aos prompts de condicionamento.

Avaliação Humana

Apesar dos avanços em métricas automatizadas, a avaliação humana continua essencial para tarefas subjetivas ou criativas. Muitos resultados gerados, especialmente em arte, narrativa ou design, exigem julgamento humano para avaliar seu significado, originalidade e apelo. Esses métodos fornecem percepções detalhadas que métricas automatizadas frequentemente não capturam.

Teste A/B e Configurações Estilo Turing

Solicitar aos usuários que escolham as saídas preferidas ou mais realistas entre duas opções.

• Exemplo do Mundo Real: no pipeline RLHF do GPT-3 da OpenAI, trabalhadores terceirizados visualizaram múltiplas conclusões do modelo e foram convidados a classificar ou selecionar a mais útil ou realista. Esse feedback influenciou diretamente os modelos de recompensa para ajustes posteriores.

Fidelidade do Prompt à Saída

Avaliação subjetiva de quão bem a saída reflete o prompt fornecido.

• Exemplo do Mundo Real: durante o treinamento RLHF para o InstructGPT, anotadores avaliaram conclusões para um prompt como "Escreva um e-mail educado recusando uma oferta de emprego." As pontuações humanas determinaram quais saídas estavam alinhadas com a intenção e o estilo do usuário.

Escalas de Avaliação

Coletar avaliações em escalas (por exemplo, 1–5) para realismo, coerência ou criatividade.

• Exemplo do Mundo Real: nas avaliações do Claude da Anthropic, pesquisadores coletaram avaliações de 1 a 5 estrelas sobre utilidade, honestidade e ausência de danos para gerações em diálogos, auxiliando nos objetivos de alinhamento do modelo.

Avaliação por Crowdsourcing

Utilize plataformas como o MTurk para coletar opiniões diversas. Garanta concordância entre avaliadores.

• Exemplo do Mundo Real: O Google utilizou crowdsourcing em larga escala para avaliar a qualidade do chatbot LaMDA em dimensões como coerência e especificidade, agregando milhares de julgamentos de usuários.

Resumo

Essas estratégias de avaliação são indispensáveis para iterar no desenvolvimento do modelo e orientar decisões de implantação. A combinação de métricas objetivas com feedback humano auxilia os desenvolvedores a equilibrar realismo, criatividade, diversidade e alinhamento com a intenção do usuário ou requisitos da tarefa. Uma avaliação eficaz garante que os modelos de IA generativa apresentem não apenas desempenho técnico satisfatório, mas também estejam alinhados com casos de uso do mundo real e expectativas humanas.