Verständnis der Diffusionsbasierten Generierung

Diffusionsmodelle sind eine leistungsstarke Art von KI-Modellen, die Daten – insbesondere Bilder – erzeugen, indem sie lernen, einen Prozess des Hinzufügens von Zufallsrauschen umzukehren. Stellen Sie sich vor, Sie beobachten, wie ein klares Bild allmählich unscharf wird, ähnlich wie das Rauschen auf einem Fernseher. Ein Diffusionsmodell lernt das Gegenteil: Es nimmt verrauschte Bilder und rekonstruiert das ursprüngliche Bild, indem es das Rauschen Schritt für Schritt entfernt.

Der Prozess umfasst zwei Hauptphasen:

• Vorwärtsprozess (Diffusion): Fügt einem Bild schrittweise Zufallsrauschen hinzu und verfälscht es so zu reinem Rauschen;
• Rückwärtsprozess (Denoising): Ein neuronales Netzwerk lernt, das Rauschen Schritt für Schritt zu entfernen und das ursprüngliche Bild aus der verrauschten Version zu rekonstruieren.

Diffusionsmodelle sind bekannt für ihre Fähigkeit, hochwertige, realistische Bilder zu erzeugen. Ihr Training ist in der Regel stabiler als bei Modellen wie GANs, was sie in der modernen generativen KI sehr attraktiv macht.

Denoising Diffusion Probabilistic Models (DDPMs)

Denoising Diffusion Probabilistic Models (DDPMs) sind eine beliebte Art von Diffusionsmodellen, die probabilistische Prinzipien und Deep Learning anwenden, um Rauschen in Bildern schrittweise zu entfernen.

Vorwärtsprozess

Im Vorwärtsprozess beginnt man mit einem realen Bild $x_0$ und fügt schrittweise über $T$ Zeitschritte Gaußsches Rauschen hinzu:

Dabei gilt:

• $x_t$: verrauschte Version des Eingabebildes zum jeweiligen Zeitschritt;
• $\beta_t$: kleine Varianz, die steuert, wie viel Rauschen hinzugefügt wird;
• $\mathcal{N}$: Gaußsche Verteilung.

Die insgesamt bis zu einem Schritt hinzugefügte Rauschmenge lässt sich auch ausdrücken als:

Dabei gilt:

• $\=\alpha_t=\prod_{s=1}^t(1-\beta_s)$

Rückwärtsprozess

Das Ziel des Modells ist es, den umgekehrten Prozess zu erlernen. Ein neuronales Netzwerk, parametrisiert durch $\theta$, sagt den Mittelwert und die Varianz der entrauschten Verteilung voraus:

wobei:

• $x_t$: verrauschtes Bild zum Zeitpunkt $t$;
• $x_{t-1}$: vorhergesagtes, weniger verrauschtes Bild zum Zeitpunkt $t-1$;
• $\mu_\theta$: vorhergesagter Mittelwert aus dem neuronalen Netzwerk;
• $\Sigma_\theta$: vorhergesagte Varianz aus dem neuronalen Netzwerk.

Verlustfunktion

Das Training beinhaltet die Minimierung des Unterschieds zwischen dem tatsächlichen Rauschen und dem vom Modell vorhergesagten Rauschen unter Verwendung des folgenden Ziels:

wobei:

• $x_t$: ursprüngliches Eingabebild;
• $\epsilon$: zufälliges Gaußsches Rauschen;
• $t$: Zeitschritt während der Diffusion;
• $\epsilon_\theta$: Vorhersage des Rauschens durch das neuronale Netzwerk;
• $\={\alpha}_t$: Produkt der Rauschplan-Parameter bis zum Schritt $t$.

Dies hilft dem Modell, besser im Entrauschen zu werden und verbessert seine Fähigkeit, realistische Daten zu generieren.

Score-basierte generative Modellierung

Score-basierte Modelle sind eine weitere Klasse von Diffusionsmodellen. Anstatt den umgekehrten Rauschprozess direkt zu erlernen, lernen sie die Score-Funktion:

wobei:

• $\nabla_x\log{p(x)}$: der Gradient der Log-Wahrscheinlichkeitsdichte bezüglich des Eingabewerts $x$. Dieser zeigt in die Richtung steigender Wahrscheinlichkeit unter der Datenverteilung;
• $p(x)$: die Wahrscheinlichkeitsverteilung der Daten.

Diese Funktion gibt dem Modell an, in welche Richtung das Bild verändert werden sollte, um mehr echten Daten zu ähneln. Diese Modelle verwenden dann eine Abtastmethode wie Langevin-Dynamik, um verrauschte Daten schrittweise in Regionen mit hoher Wahrscheinlichkeit zu bewegen.

Score-basierte Modelle arbeiten häufig in kontinuierlicher Zeit unter Verwendung von stochastischen Differentialgleichungen (SDEs). Dieser kontinuierliche Ansatz bietet Flexibilität und kann qualitativ hochwertige Generierungen für verschiedene Datentypen ermöglichen.

Anwendungen in der hochauflösenden Bildgenerierung

Diffusionsmodelle haben generative Aufgaben, insbesondere bei der hochauflösenden visuellen Generierung, revolutioniert. Bedeutende Anwendungen umfassen:

• Stable Diffusion: Ein latentes Diffusionsmodell, das Bilder aus Texteingaben erzeugt. Es kombiniert ein auf U-Net basierendes Denoising-Modell mit einem Variational Autoencoder (VAE), um im latenten Raum zu arbeiten;
• DALL·E 2: Kombiniert CLIP-Embeddings und diffusionsbasierte Dekodierung, um hochrealistische und semantische Bilder aus Text zu generieren;
• MidJourney: Eine diffusionsbasierte Bildgenerierungsplattform, bekannt für die Erstellung hochwertiger, künstlerisch gestalteter Visualisierungen aus abstrakten oder kreativen Vorgaben.

Diese Modelle werden in der Kunstgenerierung, fotorealistischen Synthese, Inpainting, Super-Resolution und weiteren Bereichen eingesetzt.

Zusammenfassung

Diffusionsmodelle definieren eine neue Ära des generativen Modellierens, indem sie die Datengenerierung als stochastischen Prozess in umgekehrter Zeitrichtung behandeln. Durch DDPMs und score-basierte Modelle erreichen sie robustes Training, hohe Probenqualität und überzeugende Ergebnisse in verschiedenen Modalitäten. Ihre Verankerung in probabilistischen und thermodynamischen Prinzipien macht sie sowohl mathematisch elegant als auch praktisch leistungsfähig.