L'évaluation des modèles génératifs diffère de celle des modèles discriminatifs, qui reposent sur des métriques de précision. Étant donné que les modèles génératifs produisent de nombreux résultats valides, ils doivent être évalués selon la qualité, la diversité et la pertinence. Cette section présente les principales métriques utilisées en recherche et en industrie pour évaluer les modèles génératifs selon des dimensions perceptuelles, statistiques et centrées sur l'humain.

Évaluation des modèles basés sur l'image (GAN, VAE, Diffusion)

Les méthodes d'évaluation perceptuelle et statistique sont couramment appliquées aux modèles génératifs d'images. Elles permettent de mesurer à quel point les sorties générées sont réalistes, diversifiées et bien réparties par rapport aux images réelles.

Inception Score (IS)

Quantification de la clarté et de la diversité des images générées à l'aide de la confiance de classification d'un modèle Inception pré-entraîné.

où :

• $p(y|x)$ est la distribution conditionnelle des étiquettes pour l'image $x$
• $p(y)$ est la distribution marginale des classes.

Fréchet Inception Distance (FID)

Mesure la similarité entre les distributions d'images réelles et générées à l'aide des embeddings de caractéristiques.

où :

• $\mu$ et $\Sigma$ sont la moyenne et la covariance des représentations de caractéristiques.
• $\text{Tr}()$ désigne la trace d'une matrice — il s'agit de la somme des éléments diagonaux. La trace permet de quantifier la différence entre les distributions de caractéristiques en termes de dispersion ou de forme.

LPIPS

Compare la similarité visuelle entre des images en utilisant des caractéristiques extraites par des réseaux neuronaux profonds.

Évaluation des modèles basés sur le texte (Transformers, GPT, BERT)

Les modèles de génération de langage sont évalués selon la qualité, la cohérence et la pertinence à l'aide de métriques statistiques, sémantiques et subjectives.

BLEU / ROUGE / METEOR

Comparent le recouvrement des n-grammes entre le texte généré et le texte de référence.

où :

• $p_n$ est la précision pour les n-grammes
• $\text{BP}$ est la pénalité de brièveté.

BERTScore

Mesure la similarité sémantique à l'aide d'embeddings contextuels. Utilise la similarité cosinus entre les embeddings contextuels, avec des agrégats de précision/rappel/F1.

Fidélité au prompt

Mesure l'adéquation de la sortie par rapport aux prompts d'entrée, en particulier dans les modèles ajustés par instruction.

Évaluation des modèles multimodaux (par exemple, DALL·E, Stable Diffusion)

Les modèles multimodaux doivent être évalués pour l'alignement entre les modalités, telles que l'image et le texte.

CLIPScore

Calcule la similarité entre les embeddings d'image et les embeddings du prompt textuel.

où $f$ représente les embeddings spécifiques à chaque modalité.

Fidélité Prompt-à-Image

Mesure dans quelle mesure les images générées correspondent à leurs prompts de conditionnement.

Évaluation Humaine

Malgré les progrès des métriques automatisées, l'évaluation humaine reste essentielle pour les tâches subjectives ou créatives. De nombreux résultats génératifs, notamment en art, narration ou design, nécessitent un jugement humain pour évaluer leur pertinence, originalité et attrait. Ces méthodes fournissent des informations nuancées que les métriques automatisées omettent souvent.

Tests A/B et configurations de type Turing

Demander aux utilisateurs de choisir les sorties préférées ou les plus réalistes parmi deux options.

• Exemple concret : dans le pipeline RLHF de GPT-3 d'OpenAI, des travailleurs ont été exposés à plusieurs complétions générées par le modèle et devaient classer ou sélectionner celle jugée la plus utile ou réaliste. Ces retours ont directement influencé la construction des modèles de récompense pour l'affinage ultérieur.

Fidélité prompt-sortie

Évaluation subjective de la correspondance entre la sortie et le prompt donné.

• Exemple concret : lors de l'entraînement RLHF pour InstructGPT, les annotateurs notaient les complétions pour un prompt tel que « Rédigez un email poli pour refuser une offre d'emploi. » Les scores humains déterminaient quelles sorties correspondaient à l'intention et au style de l'utilisateur.

Échelles de notation

Collecte de notes sur des échelles (par exemple, 1 à 5) pour le réalisme, la cohérence ou la créativité.

• Exemple concret : lors des évaluations de Claude par Anthropic, les chercheurs recueillaient des notes de 1 à 5 étoiles sur l'utilité, l'honnêteté et l'innocuité des générations en dialogue, contribuant ainsi aux objectifs d'alignement du modèle.

Évaluation participative

Utiliser des plateformes comme MTurk pour recueillir des avis variés. Veiller à l'accord entre évaluateurs.

• Exemple concret : Google a utilisé une évaluation participative à grande échelle pour mesurer la qualité du chatbot LaMDA selon des critères tels que la pertinence et la spécificité, en agrégeant des milliers de jugements d'utilisateurs.

Résumé

Ces stratégies d'évaluation sont indispensables pour itérer sur le développement du modèle et orienter les décisions de déploiement. La combinaison de métriques objectives et de retours humains aide les développeurs à équilibrer réalisme, créativité, diversité et adéquation avec l'intention de l'utilisateur ou les exigences de la tâche. Une évaluation efficace garantit que les modèles d'IA générative offrent non seulement de bonnes performances techniques, mais sont également adaptés aux cas d'utilisation réels et aux attentes humaines.