Die Bewertung generativer Modelle unterscheidet sich von der Bewertung diskiminativer Modelle, die auf Genauigkeitsmetriken basieren. Da generative Modelle viele gültige Ausgaben erzeugen, müssen sie hinsichtlich Qualität, Vielfalt und Relevanz beurteilt werden. Dieser Abschnitt stellt zentrale Metriken vor, die sowohl in der Forschung als auch in der Industrie zur Bewertung generativer Modelle entlang perzeptiver, statistischer und menschzentrierter Dimensionen verwendet werden.

Bewertung für bildbasierte Modelle (GANs, VAEs, Diffusion)

Perzeptive und statistische Bewertungsmethoden werden häufig bei bildbasierten generativen Modellen angewendet. Diese helfen dabei, zu messen, wie realistisch, vielfältig und gut verteilt die generierten Ausgaben im Vergleich zu echten Bildern sind.

Inception Score (IS)

Quantifiziert sowohl die Klarheit als auch die Vielfalt der generierten Bilder anhand der Klassifikationssicherheit eines vortrainierten Inception-Modells.

wobei:

• $p(y|x)$ die bedingte Labelverteilung für Bild $x$ ist
• $p(y)$ die marginale Klassenverteilung ist.

Fréchet Inception Distance (FID)

Misst die Ähnlichkeit zwischen Verteilungen realer und generierter Bilder anhand von Feature-Embeddings.

wobei:

• $\mu$ und $\Sigma$ Mittelwert und Kovarianz der Feature-Repräsentationen sind.
• $\text{Tr}()$ steht für die Spur einer Matrix — dies ist die Summe der Diagonalelemente. Die Spur hilft dabei, zu quantifizieren, wie unterschiedlich die Feature-Verteilungen hinsichtlich ihrer Streuung oder Form sind.

LPIPS

Vergleicht die visuelle Ähnlichkeit zwischen Bildern anhand von Merkmalen tiefer neuronaler Netze.

Bewertung für textbasierte Modelle (Transformers, GPT, BERT)

Sprachgenerierungsmodelle werden hinsichtlich Qualität, Kohärenz und Relevanz anhand statistischer, semantischer und subjektiver Metriken bewertet.

BLEU / ROUGE / METEOR

Vergleich des n-Gramm-Überlapps zwischen generiertem und Referenztext.

wobei:

• $p_n$ die Präzision für n-Gramme ist
• $\text{BP}$ die Kürzungsstrafe ist.

BERTScore

Misst die semantische Ähnlichkeit mithilfe kontextueller Einbettungen. Verwendet Kosinusähnlichkeit zwischen kontextuellen Einbettungen mit Präzisions-, Recall- und F1-Aggregaten.

Prompt-Treue

Misst die Übereinstimmung der Ausgabe mit den Eingabeaufforderungen, insbesondere bei instruktionstunierten Modellen.

Bewertung für multimodale Modelle (z. B. DALL·E, Stable Diffusion)

Multimodale Modelle müssen hinsichtlich der Übereinstimmung zwischen Modalitäten wie Bild und Text bewertet werden.

CLIPScore

Berechnet die Ähnlichkeit zwischen Bild- und Textprompt-Embeddings.

wobei $f$ modalitätsspezifische Embeddings sind.

Übereinstimmung zwischen Prompt und Bild

Misst, wie gut generierte Bilder zu ihren zugehörigen Prompts passen.

Menschliche Bewertung

Trotz Fortschritten bei automatisierten Metriken bleibt die menschliche Bewertung für subjektive oder kreative Aufgaben unerlässlich. Viele generative Ergebnisse, insbesondere in Kunst, Erzählung oder Design, erfordern menschliches Urteilsvermögen, um deren Sinnhaftigkeit, Originalität und Attraktivität zu beurteilen. Diese Methoden liefern differenzierte Einblicke, die automatisierte Metriken oft nicht erfassen.

A/B-Tests und Turing-ähnliche Setups

Nutzer dazu auffordern, bevorzugte oder realistisch wirkende Ausgaben aus zwei Optionen auszuwählen.

• Praxisbeispiel: Im RLHF-Prozess von OpenAI's GPT-3 wurden Crowdworker mehrere Modellvorschläge gezeigt und gebeten, die hilfreichste oder realistischste Variante auszuwählen oder zu bewerten. Dieses Feedback floss direkt in die Belohnungsmodelle für das weitere Feintuning ein.

Übereinstimmung zwischen Prompt und Ausgabe

Subjektive Bewertung, wie gut die Ausgabe den gegebenen Prompt widerspiegelt.

• Praxisbeispiel: Während des RLHF-Trainings für InstructGPT bewerteten Annotatoren Ausgaben zu Prompts wie "Schreibe eine höfliche E-Mail zur Ablehnung eines Jobangebots." Menschliche Bewertungen bestimmten, welche Ausgaben mit der Intention und dem Stil des Nutzers übereinstimmten.

Bewertungsskalen

Sammeln von Bewertungen auf Skalen (z. B. 1–5) für Realismus, Kohärenz oder Kreativität.

• Praxisbeispiel: In den Claude-Evaluierungen von Anthropic sammelten Forschende 1–5-Sterne-Bewertungen für Hilfsbereitschaft, Ehrlichkeit und Unschädlichkeit von generierten Dialogen, um die Modellanpassung zu unterstützen.

Crowdsourcing-basierte Bewertung

Plattformen wie MTurk zur Erfassung vielfältiger Meinungen nutzen. Übereinstimmung der Bewerter sicherstellen.

• Praxisbeispiel: Google setzte groß angelegte Crowdsourcing-Methoden ein, um die Qualität des LaMDA-Chatbots hinsichtlich Kriterien wie Plausibilität und Spezifität zu bewerten, indem Tausende von Nutzerurteilen aggregiert wurden.

Zusammenfassung

Diese Bewertungsstrategien sind unverzichtbar für die Weiterentwicklung von Modellen und die Steuerung von Entscheidungen zur Bereitstellung. Die Kombination objektiver Metriken mit menschlichem Feedback unterstützt Entwickler dabei, Realismus, Kreativität, Vielfalt und die Ausrichtung an Benutzerabsichten oder Aufgabenanforderungen auszubalancieren. Eine effektive Bewertung stellt sicher, dass generative KI-Modelle nicht nur technisch leistungsfähig sind, sondern auch mit realen Anwendungsfällen und menschlichen Erwartungen übereinstimmen.