Lernen Wahrscheinlichkeitsverteilungen und Zufälligkeit in KI

Swipe um das Menü anzuzeigen

Wahrscheinlichkeitsverteilungen und Zufälligkeit bilden das Fundament generativer Modelle und ermöglichen es KI-Systemen, vielfältige und realistische Ausgaben zu erzeugen. Anstatt die Wahrscheinlichkeitstheorie explizit zu definieren, konzentriert sich dieses Kapitel darauf, wie Wahrscheinlichkeit in der Generativen KI genutzt wird, um Unsicherheiten zu modellieren, Daten zu sampeln und generative Modelle zu trainieren.

Rolle von Wahrscheinlichkeitsverteilungen in der Generativen KI

Generative Modelle basieren auf Wahrscheinlichkeitsverteilungen, um Datenmuster zu erlernen und neue Stichproben zu erzeugen. Die wichtigsten Konzepte umfassen:

Latentraum-Darstellung: Viele generative Modelle (z. B. VAEs, GANs) ordnen Eingabedaten einer Wahrscheinlichkeitsverteilung in niedrigerer Dimension zu. Das Sampling aus dieser Verteilung erzeugt neue Datenpunkte;
Likelihood-Schätzung: Probabilistische Modelle schätzen die Wahrscheinlichkeit, einen Datenpunkt unter einer gelernten Verteilung zu beobachten, was das Training steuert;
Sampling und Generierung: Der Prozess des Ziehens zufälliger Stichproben aus gelernten Verteilungen zur Erzeugung neuer synthetischer Daten.

Wichtige mathematische Konzepte:

Für eine Wahrscheinlichkeitsverteilung $p(x)$ ist die Likelihood der Daten $X$ gegeben den Modellparametern $\theta$ :

\mathcal{L}(\theta|X)= \prod^{N}_{i=1}p(x_i|\theta)

Die Maximierung dieser Likelihood unterstützt generative Modelle beim Erlernen von Mustern aus Daten. In der generativen KI nehmen Modelle häufig spezifische Formen von Wahrscheinlichkeitsverteilungen an—wie Gaußsche, Bernoulli- oder kategoriale Verteilungen—um Daten darzustellen. Die Wahl der Verteilung beeinflusst, wie Modelle lernen und neue Stichproben generieren. Beispielsweise werden bei der Textgenerierung kategoriale Verteilungen verwendet, um die Wahrscheinlichkeit jedes möglichen Wortes in Abhängigkeit von vorherigen Wörtern zu modellieren.

Zufälligkeit und Rauschen in generativen Modellen

Rauschen spielt eine entscheidende Rolle in der generativen KI, indem es Vielfalt sicherstellt und die Robustheit verbessert:

Latentes Rauschen in GANs: In GANs wird ein Rauschvektor $z \sim p(x)$ (oft aus einer Gaußschen oder gleichverteilten Verteilung gezogen) durch den Generator in realistische Stichproben transformiert. Diese Zufälligkeit sorgt für Variation in den generierten Bildern;
Variationsinferenz in VAEs: VAEs führen Gaußsches Rauschen im latenten Raum ein, was eine sanfte Interpolation zwischen generierten Stichproben ermöglicht. Dadurch führen kleine Änderungen in den latenten Variablen zu sinnvollen Variationen in den Ausgaben;
Diffusionsmodelle und stochastische Prozesse: Diese Modelle lernen, einen schrittweisen Rauschprozess umzukehren, um hochwertige Daten zu generieren. Durch iteratives Verfeinern verrauschter Eingaben können sie komplexe, realistische Bilder erzeugen.

Beispiel: Gaußscher latenter Raum in VAEs

In VAEs gibt der Encoder Parameter für eine Gaußsche Verteilung aus:

q(z|x)=\mathcal{N}(z;\mu(x),\sigma^2(x))

Anstelle einer deterministischen Abbildung verwenden VAEs Stichproben aus dieser Verteilung und führen so kontrollierte Zufälligkeit ein, die eine vielfältige Generierung ermöglicht. Diese Technik erlaubt es VAEs, neue Gesichter zu erzeugen, indem zwischen verschiedenen Repräsentationen im latenten Raum interpoliert wird.

Stichprobenverfahren in der generativen KI

Stichprobenverfahren sind entscheidend für die Erzeugung neuer Datenpunkte aus gelernten Verteilungen:

Monte-Carlo-Stichprobe: Wird in probabilistischen Modellen wie der Bayesschen Inferenz verwendet, um Erwartungswerte zu approximieren. Die Monte-Carlo-Integration schätzt einen Erwartungswert als:

\mathbb{E}[f(X)]\approx \frac{1}{N}\sum^N_{i=1}f(X_i)

wobei $X_i$ aus der Zielverteilung gezogen werden.

Reparametrisierungstrick: In VAEs sorgt dieser Trick für den Gradientenfluss durch stochastische Knoten, indem $z$ wie folgt dargestellt wird:

z=\mu + \sigma \cdot \varepsilon,\ \varepsilon \sim \mathcal{N}(0, 1)

Dieser Trick ermöglicht eine effiziente Rückpropagation durch stochastische Schichten.

Ancestrales Sampling: In autoregressiven Modellen (z. B. GPT) werden Stichproben sequenziell auf Basis von bedingten Wahrscheinlichkeiten erzeugt. Beim Generieren von Text beispielsweise sagt ein Modell das nächste Wort basierend auf den vorherigen voraus:

p(x_t|x_1, x_2, \ldots,x_{t-1})

Dieser sequenzielle Prozess gewährleistet Kohärenz im generierten Text.

Beispiel: Ancestrales Sampling bei der Textgenerierung

Angenommen, ein generatives Modell wird darauf trainiert, englische Sätze zu erzeugen. Bei der Eingabe "The cat" wählt das Modell das nächste Wort aus einer gelernten Wahrscheinlichkeitsverteilung und erzeugt Ausgaben wie:

"The cat sleeps";
"The cat jumps";
"The cat is hungry".

Jede Vorhersage des nächsten Wortes hängt von den zuvor generierten Wörtern ab und erzeugt sinnvolle Sequenzen.

Praktische Anwendungen in der generativen KI

GANs: Verwenden Rauschvektoren zur Erzeugung hochauflösender Bilder;
VAEs: Kodieren Daten in eine Wahrscheinlichkeitsverteilung für eine gleichmäßige Interpolation im latenten Raum;
Diffusionsmodelle: Nutzen stochastische Rauschunterdrückung zur iterativen Bildgenerierung;
Bayessche generative Modelle: Modellieren Unsicherheit bei generativen Aufgaben.

Fazit

Wahrscheinlichkeit und Zufälligkeit bilden die Grundlage der Generativen KI. Sie ermöglichen es Modellen, Verteilungen zu erlernen, vielfältige Ausgaben zu erzeugen und reale Variabilität nachzubilden. Die nächsten Kapitel bauen auf diesen Konzepten auf und behandeln probabilistische Modellierung, neuronale Netze und generative Architekturen.