Wahrscheinlichkeitsverteilungen und Zufälligkeit stehen im Zentrum generativer Modelle und ermöglichen es KI-Systemen, vielfältige und realistische Ergebnisse zu erzeugen. Anstatt die Wahrscheinlichkeitstheorie explizit zu definieren, konzentriert sich dieses Kapitel darauf, wie Wahrscheinlichkeit in Generative AI genutzt wird, um Unsicherheiten zu modellieren, Daten zu sampeln und generative Modelle zu trainieren.

Rolle von Wahrscheinlichkeitsverteilungen in Generative AI

Generative Modelle basieren auf Wahrscheinlichkeitsverteilungen, um Datenmuster zu erlernen und neue Stichproben zu erzeugen. Die wichtigsten Konzepte umfassen:

• Latent Space Representation: Viele generative Modelle (z. B. VAEs, GANs) ordnen Eingabedaten einer niedrigdimensionalen Wahrscheinlichkeitsverteilung zu. Das Sampling aus dieser Verteilung erzeugt neue Datenpunkte;
• Likelihood Estimation: Probabilistische Modelle schätzen die Wahrscheinlichkeit, einen Datenpunkt unter einer gelernten Verteilung zu beobachten, was das Training steuert;
• Sampling und Generierung: Der Prozess des Ziehens zufälliger Stichproben aus gelernten Verteilungen zur Erzeugung neuer synthetischer Daten.

Wichtige mathematische Konzepte:

Für eine Wahrscheinlichkeitsverteilung $p(x)$ ist die Likelihood der Daten $X$ gegeben den Modellparametern $\theta$:

Die Maximierung dieser Likelihood unterstützt generative Modelle beim Erlernen von Mustern aus Daten. In der generativen KI nehmen Modelle häufig bestimmte Formen von Wahrscheinlichkeitsverteilungen an—wie Gaußsche, Bernoulli- oder kategoriale Verteilungen—um Daten darzustellen. Die Wahl der Verteilung beeinflusst, wie Modelle lernen und neue Stichproben generieren. Beispielsweise werden bei der Textgenerierung kategoriale Verteilungen verwendet, um die Wahrscheinlichkeit jedes möglichen Wortes in Abhängigkeit von vorherigen Wörtern zu modellieren.

Zufälligkeit und Rauschen in generativen Modellen

Rauschen spielt eine entscheidende Rolle in der generativen KI, indem es Vielfalt sicherstellt und die Robustheit verbessert:

• Latentes Rauschen in GANs: In GANs wird ein Rauschvektor $z \sim p(x)$ (oft aus einer Gaußschen oder gleichverteilten Verteilung gezogen) durch den Generator in realistische Stichproben transformiert. Diese Zufälligkeit gewährleistet Variation in den generierten Bildern;
• Variationsinferenz in VAEs: VAEs fügen im latenten Raum Gaußsches Rauschen hinzu, was eine sanfte Interpolation zwischen generierten Stichproben ermöglicht. Dadurch führen kleine Änderungen in den latenten Variablen zu sinnvollen Variationen in den Ausgaben;
• Diffusionsmodelle und stochastische Prozesse: Diese Modelle lernen, einen schrittweisen Rauschprozess umzukehren, um hochwertige Daten zu generieren. Durch iteratives Verfeinern verrauschter Eingaben können sie komplexe, realistische Bilder erzeugen.

Beispiel: Gaußscher latenter Raum in VAEs

In VAEs gibt der Encoder Parameter für eine Gaußsche Verteilung aus:

Anstelle einer deterministischen Abbildung sampeln VAEs aus dieser Verteilung und führen so kontrollierte Zufälligkeit ein, die eine vielfältige Generierung ermöglicht. Diese Technik erlaubt es VAEs, neue Gesichter zu erzeugen, indem zwischen verschiedenen Repräsentationen im latenten Raum interpoliert wird.

Stichprobenverfahren in Generativer KI

Sampling-Techniken sind essenziell, um neue Datenpunkte aus gelernten Verteilungen zu generieren:

• Monte-Carlo-Sampling: Wird in probabilistischen Modellen wie der Bayesschen Inferenz verwendet, um Erwartungswerte zu approximieren. Die Monte-Carlo-Integration schätzt einen Erwartungswert als:

wobei $X_i$ aus der Zielverteilung gezogen werden.

• Reparametrisierungstrick: In VAEs sorgt dieser Trick für den Gradientenfluss durch stochastische Knoten, indem $z$ wie folgt dargestellt wird:

Dieser Trick ermöglicht eine effiziente Rückpropagation durch stochastische Schichten.

• Ancestrale Stichprobenziehung: In autoregressiven Modellen (z. B. GPT) werden Stichproben sequenziell auf Basis von bedingten Wahrscheinlichkeiten erzeugt. Beim Generieren von Text beispielsweise sagt ein Modell das nächste Wort auf Grundlage der vorherigen voraus:

Dieser sequenzielle Prozess gewährleistet Kohärenz im generierten Text.

Beispiel: Ancestrale Stichprobenziehung bei der Textgenerierung

Angenommen, ein generatives Modell wird darauf trainiert, englische Sätze zu erzeugen. Bei der Eingabe "The cat" wählt das Modell das nächste Wort aus einer gelernten Wahrscheinlichkeitsverteilung und erzeugt Ausgaben wie:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Jede Vorhersage des nächsten Wortes hängt von den zuvor generierten Wörtern ab und erzeugt sinnvolle Sequenzen.

Praktische Anwendungen in der generativen KI

• GANs: verwenden Rauschvektoren zur Erzeugung hochauflösender Bilder;
• VAEs: kodieren Daten in eine Wahrscheinlichkeitsverteilung für eine gleichmäßige Interpolation im latenten Raum;
• Diffusionsmodelle: nutzen stochastische Rauschunterdrückung zur iterativen Bildgenerierung;
• Bayessche generative Modelle: modellieren Unsicherheit bei generativen Aufgaben.

Fazit

Wahrscheinlichkeit und Zufälligkeit bilden die Grundlage der Generativen KI. Sie ermöglichen es Modellen, Verteilungen zu erlernen, vielfältige Ausgaben zu erzeugen und reale Variabilität nachzubilden. Die nächsten Kapitel bauen auf diesen Konzepten auf und behandeln probabilistische Modellierung, neuronale Netze und generative Architekturen.