Het trainen van generatieve modellen omvat het optimaliseren van vaak instabiele en complexe verlieslandschappen. Deze sectie introduceert verliesfuncties die zijn afgestemd op elk modeltype, optimalisatiestrategieën om de training te stabiliseren, en methoden voor het verfijnen van voorgetrainde modellen voor specifieke toepassingen.

Kernverliesfuncties

Verschillende families van generatieve modellen gebruiken verschillende verliesformuleringen, afhankelijk van hoe zij datadistributies modelleren.

GAN-verliezen

Minimax-verlies (originele GAN)

Adversariële opzet tussen generator $G$ en discriminator $D$ (voorbeeld met pythorch-bibliotheek):

Least squares GAN (LSGAN)

Gebruikt L2-verlies in plaats van log-verlies om de stabiliteit en de gradiëntenstroom te verbeteren:

Wasserstein GAN (WGAN)

Minimaliseert de Earth Mover (EM) afstand; vervangt de discriminator door een "critic" en gebruikt gewichtsafkapping of gradiëntpenalty voor Lipschitz-continuïteit:

VAE-verlies

Evidence Lower Bound (ELBO)

Combineert reconstructie en regularisatie. De KL-divergentie term stimuleert dat de latente posterior dicht bij de prior blijft (meestal standaardnormaal):

Diffusiemodel-verliesfuncties

Ruisvoorspellingsverlies

Modellen leren toegevoegde Gaussische ruis te verwijderen volgens een diffusieschema. Varianten gebruiken snelheidsvoorspelling (bijv. v-prediction in Stable Diffusion v2) of hybride doelstellingen:

Optimalisatietechnieken

Het trainen van generatieve modellen is vaak instabiel en gevoelig voor hyperparameters. Diverse technieken worden toegepast om convergentie en kwaliteit te waarborgen.

Optimalisatoren en Planners

• Adam / AdamW: adaptieve gradiëntoptimalisatoren zijn de standaard. Gebruik $\beta_1=0.5,\ \beta_2=0.999$ voor GANs;
• RMSprop: soms gebruikt in WGAN-varianten;
• Learning rate scheduling:
  • Opwarmfasen voor transformers en diffusiemodellen;
  • Cosinusafname of ReduceLROnPlateau voor stabiele convergentie.

Stabilisatiemethoden

• Gradiëntafkapping: voorkomen van exploderende gradiënten in RNNs of diepe UNets;

• Spectrale normalisatie: toegepast op discriminatorlagen in GANs om Lipschitz-voorwaarden af te dwingen;

• Label smoothing: verzacht harde labels (bijv. echt = 0,9 in plaats van 1,0) om overmatige zekerheid te verminderen;
• Two-time-scale update rule (TTUR): gebruik verschillende leersnelheden voor generator en discriminator om de convergentie te verbeteren;
• Mixed-precision training: maakt gebruik van FP16 (via NVIDIA Apex of PyTorch AMP) voor snellere training op moderne GPU's.

Fijn-afstemmen van Voorgetrainde Generatieve Modellen

Voorgetrainde generatieve modellen (bijv. Stable Diffusion, LLaMA, StyleGAN2) kunnen worden fijn-afgestemd voor domeinspecifieke taken met behulp van lichtere trainingsstrategieën.

Transfer Learning-technieken

• Volledige fijn-afstemming: alle modelgewichten opnieuw trainen. Hoge rekencapaciteit vereist, maar maximale flexibiliteit;

• Laag opnieuw bevriezen / geleidelijk ontdooien: begin met het bevriezen van de meeste lagen en ontdooi vervolgens geleidelijk geselecteerde lagen voor betere fijn-afstemming. Dit voorkomt catastrofale vergeten. Het bevriezen van vroege lagen helpt om algemene kenmerken uit de voortraining te behouden (zoals randen of woordpatronen), terwijl het ontdooien van latere lagen het model in staat stelt taak-specifieke kenmerken te leren;

• LoRA / adapterlagen: injecteer laag-rang trainbare lagen zonder de parameters van het basismodel bij te werken;

• DreamBooth / tekstuele inversie (diffusiemodellen):
  • Fijn-afstemming op een klein aantal onderwerp-specifieke afbeeldingen.
  • Gebruik diffusers-pipeline:

• Prompt tuning / p-tuning:

Veelvoorkomende Toepassingen

• Stijlaanpassing: fijn-afstemming op anime-, strip- of artistieke datasets;
• Industriespecifieke afstemming: aanpassen van LLM's aan juridische, medische of zakelijke domeinen;
• Personalisatie: aangepaste identiteit of stemconditionering met behulp van kleine referentiesets.

Samenvatting

• Gebruik modelspecifieke verliesfuncties die overeenkomen met trainingsdoelstellingen en modelstructuur;
• Optimaliseer met adaptieve methoden, stabilisatietechnieken en efficiënte planning;
• Fijn-afstemming van voorgetrainde modellen met moderne low-rank- of prompt-gebaseerde transferstrategieën om kosten te verlagen en domeinaanpasbaarheid te vergroten.