Generative Adversarial Networks (GANs) sind eine Klasse generativer Modelle, die 2014 von Ian Goodfellow eingeführt wurden. Sie bestehen aus zwei neuronalen Netzwerken — dem Generator und dem Diskriminator — die gleichzeitig in einem spieltheoretischen Rahmen trainiert werden. Der Generator versucht, Daten zu erzeugen, die den echten Daten ähneln, während der Diskriminator versucht, echte Daten von den generierten Daten zu unterscheiden.

GANs lernen, Datensamples aus Rauschen zu generieren, indem sie ein Minimax-Spiel lösen. Im Verlauf des Trainings wird der Generator besser darin, realistische Daten zu erzeugen, und der Diskriminator verbessert sich darin, echte von gefälschten Daten zu unterscheiden.

Architektur eines GAN

Ein grundlegendes GAN-Modell besteht aus zwei zentralen Komponenten:

1. Generator (G)

• Nimmt einen zufälligen Rauschvektor $z \sim p_z(z)$ als Eingabe;
• Transformiert diesen durch ein neuronales Netzwerk in ein Datensample $G(z)$, das der wahren Verteilung ähneln soll.

2. Diskriminator (D)

• Nimmt entweder eine echte Datenprobe $x \sim p_x(x)$ oder eine generierte Probe $G(z)$ entgegen;
• Gibt einen Skalar zwischen 0 und 1 aus, der die Wahrscheinlichkeit schätzt, dass die Eingabe echt ist.

Diese beiden Komponenten werden gleichzeitig trainiert. Der Generator zielt darauf ab, realistische Proben zu erzeugen, um den Diskriminator zu täuschen, während der Diskriminator darauf abzielt, echte von generierten Proben korrekt zu unterscheiden.

Minimax-Spiel der GANs

Im Zentrum der GANs steht das Minimax-Spiel, ein Konzept aus der Spieltheorie. In diesem Aufbau:

• Der Generator $G$ und der Diskriminator $D$ sind konkurrierende Spieler;
• $D$ versucht, seine Fähigkeit zu maximieren, echte von generierten Daten zu unterscheiden;
• $G$ versucht, die Fähigkeit von $D$ zu minimieren, seine gefälschten Daten zu erkennen.

Diese Dynamik definiert ein Nullsummenspiel, bei dem der Gewinn des einen Spielers dem Verlust des anderen entspricht. Die Optimierung ist definiert als:

Der Generator versucht, den Diskriminator zu täuschen, indem er Proben $G(z)$ erzeugt, die den echten Daten möglichst ähnlich sind.

Verlustfunktionen

Obwohl das ursprüngliche GAN-Ziel ein Minimax-Spiel definiert, werden in der Praxis alternative Verlustfunktionen verwendet, um das Training zu stabilisieren.

• Nicht-sättigende Generator-Verlustfunktion:

Dies ermöglicht es dem Generator, auch dann starke Gradienten zu erhalten, wenn der Diskriminator gut arbeitet.

• Diskriminator-Verlustfunktion:

Diese Verlustfunktionen fördern, dass der Generator Proben erzeugt, die die Unsicherheit des Diskriminators erhöhen und die Konvergenz während des Trainings verbessern.

Wichtige Varianten von GAN-Architekturen

Mehrere Typen von GANs wurden entwickelt, um spezifische Einschränkungen zu adressieren oder die Leistung zu verbessern:

Conditional GAN (cGAN)

Conditional GANs erweitern das Standard-GAN-Framework, indem sie zusätzliche Informationen (in der Regel Labels) sowohl in den Generator als auch in den Diskriminator einführen. Anstatt Daten nur aus Zufallsrauschen zu generieren, erhält der Generator sowohl das Rauschen $z$ als auch eine Bedingung $y$ (z. B. eine Klassenbezeichnung). Der Diskriminator erhält ebenfalls $y$, um zu beurteilen, ob die Probe unter dieser Bedingung realistisch ist.

• Anwendungsfälle: klassenkonditionierte Bildgenerierung, Bild-zu-Bild-Übersetzung, Text-zu-Bild-Generierung.

Deep Convolutional GAN (DCGAN)

DCGANs ersetzen die vollständig verbundenen Schichten in den ursprünglichen GANs durch Faltungs- und transponierte Faltungsschichten, wodurch sie effektiver für die Bildgenerierung werden. Sie führen zudem architektonische Richtlinien ein, wie das Entfernen vollständig verbundener Schichten, die Verwendung von Batch-Normalisierung und den Einsatz von ReLU/LeakyReLU-Aktivierungen.

• Anwendungsfälle: fotorealistische Bildgenerierung, Erlernen visueller Repräsentationen, unbeaufsichtigtes Merkmalslernen.

CycleGAN CycleGANs adressieren das Problem der ungepaarten Bild-zu-Bild-Übersetzung. Im Gegensatz zu anderen Modellen, die gepaarte Datensätze benötigen (z. B. dasselbe Foto in zwei verschiedenen Stilen), können CycleGANs Abbildungen zwischen zwei Domänen ohne gepaarte Beispiele erlernen. Sie führen zwei Generatoren und zwei Diskriminatoren ein, von denen jeder für die Abbildung in eine Richtung verantwortlich ist (z. B. Fotos zu Gemälden und umgekehrt), und erzwingen einen Zykluskonsistenzverlust, um sicherzustellen, dass eine Übersetzung von einer Domäne zur anderen und zurück das ursprüngliche Bild ergibt. Dieser Verlust ist entscheidend für die Erhaltung von Inhalt und Struktur.

Cycle-Consistency Loss stellt sicher:

wobei:

• $G_{AB}$ Bilder von Domäne A nach Domäne B abbildet;
• $G_{BA}$ von Domäne B nach Domäne A abbildet.
• $x \in A, y \in B$.

Anwendungsfälle: Umwandlung von Fotos in Kunstwerke, Übersetzung von Pferd zu Zebra, Stimmkonvertierung zwischen Sprechern.

StyleGAN

StyleGAN, entwickelt von NVIDIA, führt eine stilbasierte Steuerung in den Generator ein. Anstatt einen Rauschvektor direkt an den Generator zu übergeben, wird dieser durch ein Mapping-Netzwerk geleitet, um "Style-Vektoren" zu erzeugen, die jede Schicht des Generators beeinflussen. Dies ermöglicht eine feine Steuerung visueller Merkmale wie Haarfarbe, Gesichtsausdruck oder Beleuchtung.

Bemerkenswerte Innovationen:

• Style Mixing, ermöglicht das Kombinieren mehrerer latenter Codes;
• Adaptive Instance Normalization (AdaIN), steuert die Feature-Maps im Generator;
• Progressives Wachstum, das Training beginnt mit niedriger Auflösung und erhöht sich im Laufe der Zeit.

Anwendungsfälle: Ultra-hochauflösende Bildgenerierung (z. B. Gesichter), Steuerung visueller Attribute, Kunstgenerierung.

Vergleich: GANs vs VAEs

GANs sind eine leistungsstarke Klasse generativer Modelle, die in der Lage sind, durch einen adversarialen Trainingsprozess hochrealistische Daten zu erzeugen. Ihr Kern besteht in einem Minimax-Spiel zwischen zwei Netzwerken, wobei adversariale Verluste verwendet werden, um beide Komponenten iterativ zu verbessern. Ein fundiertes Verständnis ihrer Architektur, Verlustfunktionen—einschließlich Varianten wie cGAN, DCGAN, CycleGAN und StyleGAN—sowie ihres Vergleichs mit anderen Modellen wie VAEs vermittelt Praktikern die notwendige Grundlage für Anwendungen in Bereichen wie Bildgenerierung, Videosynthese, Datenaugmentation und mehr.