Wahrscheinlichkeitsverteilungen und Zufälligkeit in der KI

Wahrscheinlichkeitsverteilungen und Zufälligkeit stehen im Zentrum generativer Modelle und ermöglichen es KI-Systemen, vielfältige und realistische Ausgaben zu erzeugen. Anstatt die Wahrscheinlichkeitstheorie explizit zu definieren, konzentriert sich dieses Kapitel darauf, wie Wahrscheinlichkeit in Generative AI genutzt wird, um Unsicherheiten zu modellieren, Daten zu sampeln und generative Modelle zu trainieren.

Rolle von Wahrscheinlichkeitsverteilungen in Generative AI

Generative Modelle basieren auf Wahrscheinlichkeitsverteilungen, um Datenmuster zu erlernen und neue Stichproben zu erzeugen. Die wichtigsten Konzepte sind:

• Latentraum-Darstellung: Viele generative Modelle (z. B. VAEs, GANs) ordnen Eingabedaten einer Wahrscheinlichkeitsverteilung in niedrigerer Dimension zu. Das Ziehen von Stichproben aus dieser Verteilung erzeugt neue Datenpunkte;
• Likelihood-Schätzung: Probabilistische Modelle schätzen die Wahrscheinlichkeit, einen Datenpunkt unter einer gelernten Verteilung zu beobachten, was das Training steuert;
• Stichprobenziehung und Generierung: Der Prozess des Ziehens zufälliger Stichproben aus gelernten Verteilungen zur Erzeugung neuer synthetischer Daten.

Zentrale mathematische Konzepte:

Für eine Wahrscheinlichkeitsverteilung $p(x)$ ist die Wahrscheinlichkeit der Daten $X$ gegeben Modellparametern $\theta$:

Die Maximierung dieser Wahrscheinlichkeit hilft generativen Modellen, Muster aus Daten zu erlernen. In der generativen KI nehmen Modelle häufig bestimmte Formen von Wahrscheinlichkeitsverteilungen an—wie Gaußsche, Bernoulli- oder kategoriale Verteilungen—um Daten darzustellen. Die Wahl der Verteilung beeinflusst, wie Modelle lernen und neue Stichproben erzeugen. Beispielsweise werden bei der Textgenerierung kategoriale Verteilungen verwendet, um die Wahrscheinlichkeit jedes möglichen Wortes in Abhängigkeit von vorherigen Wörtern zu modellieren.

Zufälligkeit und Rauschen in generativen Modellen

Rauschen spielt eine entscheidende Rolle in der Generativen KI, sorgt für Vielfalt und verbessert die Robustheit:

• Latentes Rauschen in GANs: In GANs wird ein Rauschvektor $z \sim p(x)$ (häufig aus einer Gaußschen oder Gleichverteilung gezogen) durch den Generator in realistische Beispiele umgewandelt. Diese Zufälligkeit gewährleistet Variation in den generierten Bildern;
• Variationale Inferenz in VAEs: VAEs fügen im latenten Raum Gaußsches Rauschen hinzu, was eine sanfte Interpolation zwischen generierten Beispielen ermöglicht. Dadurch führen kleine Änderungen in den latenten Variablen zu sinnvollen Variationen in den Ausgaben;
• Diffusionsmodelle und stochastische Prozesse: Diese Modelle lernen, einen schrittweisen Rauschprozess umzukehren, um hochwertige Daten zu erzeugen. Durch iteratives Verfeinern verrauschter Eingaben können sie komplexe, realistische Bilder generieren.

Beispiel: Gaußscher latenter Raum in VAEs

In VAEs gibt der Encoder Parameter für eine Gaußsche Verteilung aus:

Anstelle einer deterministischen Abbildung sampeln VAEs aus dieser Verteilung und führen so kontrollierte Zufälligkeit ein, die eine vielfältige Generierung ermöglicht. Diese Technik erlaubt es VAEs, neue Gesichter zu erzeugen, indem zwischen verschiedenen latenten Raumrepräsentationen interpoliert wird.

Sampling-Methoden in der generativen KI

Sampling-Techniken sind essenziell, um neue Datenpunkte aus gelernten Verteilungen zu generieren:

• Monte-Carlo-Sampling: Wird in probabilistischen Modellen wie der Bayesschen Inferenz verwendet, um Erwartungswerte zu approximieren. Die Monte-Carlo-Integration schätzt einen Erwartungswert wie folgt:

wobei $X_i$ aus der Zielverteilung gezogen werden.

• Reparametrisierungstrick: In VAEs sorgt dieser Trick für den Gradientenfluss durch stochastische Knoten, indem $z$ wie folgt ausgedrückt wird:

Dieser Trick ermöglicht eine effiziente Rückpropagation durch stochastische Schichten.

• Ancestrale Stichprobenziehung: In autoregressiven Modellen (z. B. GPT) werden Stichproben sequenziell auf Basis von bedingten Wahrscheinlichkeiten generiert. Beim Textgenerieren beispielsweise sagt das Modell das nächste Wort auf Grundlage der vorherigen voraus:

Dieser sequenzielle Prozess gewährleistet Kohärenz im generierten Text.

Beispiel: Ancestrale Stichprobenziehung bei der Textgenerierung

Angenommen, ein generatives Modell wird darauf trainiert, englische Sätze zu erzeugen. Bei der Eingabe "The cat" wählt das Modell das nächste Wort aus einer gelernten Wahrscheinlichkeitsverteilung und erzeugt Ausgaben wie:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Jede Vorhersage des nächsten Wortes hängt von den zuvor generierten Wörtern ab und erzeugt sinnvolle Sequenzen.

Praktische Anwendungen in der Generativen KI

• GANs: verwenden Rauschvektoren zur Erzeugung hochauflösender Bilder;
• VAEs: kodieren Daten in eine Wahrscheinlichkeitsverteilung für eine gleichmäßige Interpolation im latenten Raum;
• Diffusionsmodelle: nutzen stochastische Rauschunterdrückung zur schrittweisen Bildgenerierung;
• Bayessche Generative Modelle: modellieren Unsicherheit bei generativen Aufgaben.

Fazit

Wahrscheinlichkeit und Zufälligkeit bilden die Grundlage der Generativen KI und ermöglichen es Modellen, Verteilungen zu erlernen, vielfältige Ausgaben zu erzeugen und reale Variabilität nachzubilden. Die nächsten Kapitel bauen auf diesen Konzepten auf und behandeln probabilistische Modellierung, neuronale Netze und generative Architekturen.