Træning af generative modeller involverer optimering af ofte ustabile og komplekse tab-landskaber. Dette afsnit introducerer tabsfunktioner tilpasset hver modeltype, optimeringsstrategier til at stabilisere træningen samt metoder til finjustering af fortrænede modeller til specifikke anvendelser.

Centrale tabsfunktioner

Forskellige familier af generative modeller anvender forskellige tab-formuleringer afhængigt af, hvordan de modellerer datadistributioner.

GAN-tab

Minimax-tab (original GAN)

Adversarialt setup mellem generator $G$ og discriminator $D$ (eksempel med pythorch-biblioteket):

Least squares GAN (LSGAN)

Anvender L2-tab i stedet for log-tab for at forbedre stabilitet og gradientflow:

Wasserstein GAN (WGAN)

Minimerer Earth Mover (EM) distance; erstatter diskriminator med en "kritiker" og anvender vægtklipning eller gradientstraf for Lipschitz-kontinuitet:

VAE-tab

Evidence Lower Bound (ELBO)

Kombinerer rekonstruktion og regularisering. KL-divergensleddet tilskynder den latente posterior til at forblive tæt på prioren (typisk standard normal):

Diffusionsmodell-tab

Støjpåvisningstab

Modeller lærer at fjerne tilføjet Gaussisk støj gennem en diffusionsplan. Varianter anvender hastighedspåvisning (f.eks. v-prediction i Stable Diffusion v2) eller hybride målsætninger:

Optimeringsteknikker

Træning af generative modeller er ofte ustabil og følsom over for hyperparametre. Flere teknikker anvendes for at sikre konvergens og kvalitet.

Optimeringsalgoritmer og planlæggere

• Adam / AdamW: adaptive gradientoptimeringsalgoritmer er standarden. Brug $\beta_1=0.5,\ \beta_2=0.999$ til GANs;
• RMSprop: anvendes nogle gange i WGAN-varianter;
• Læringsrateplanlægning:
  • Opvarmningsfaser for transformere og diffusionsmodeller;
  • Cosine decay eller ReduceLROnPlateau for stabil konvergens.

Stabiliseringsmetoder

• Gradientklipning: undgå eksploderende gradienter i RNN'er eller dybe UNets;

• Spektral normalisering: anvendt på diskriminatorlag i GANs for at håndhæve Lipschitz-betingelser;

• Label smoothing: blødgør hårde labels (f.eks. real = 0,9 i stedet for 1,0) for at reducere overkonfidens;
• To-tids-skala opdateringsregel (TTUR): brug forskellige læringsrater for generator og diskriminator for at forbedre konvergens;
• Mixed-precision træning: udnytter FP16 (via NVIDIA Apex eller PyTorch AMP) for hurtigere træning på moderne GPU'er.

Finjustering af fortrænede generative modeller

Fortrænede generative modeller (f.eks. Stable Diffusion, LLaMA, StyleGAN2) kan finjusteres til domænespecifikke opgaver ved hjælp af lettere træningsstrategier.

Transfer learning-teknikker

• Fuld finjustering: gen-træn alle modellens vægte. Høj beregningsomkostning, men maksimal fleksibilitet;

• Lag-genfrysning / gradvis optøning: start med at fryse de fleste lag, og optø derefter gradvist udvalgte lag for bedre finjustering. Dette undgår katastrofal glemsel. Frysning af tidlige lag hjælper med at bevare generelle funktioner fra fortræning (såsom kanter eller ordmønstre), mens optøning af senere lag gør det muligt for modellen at lære opgavespecifikke funktioner;

• LoRA / adapterlag: indsæt lav-rang trænbare lag uden at opdatere basismodellens parametre;

• DreamBooth / tekstuel inversion (diffusionsmodeller):
  • Finjustering på et lille antal emnespecifikke billeder.
  • Brug diffusers pipeline:

• Prompt tuning / p-tuning:

Almindelige anvendelsestilfælde

• Stiltilpasning: finjustering på anime-, tegneserie- eller kunstneriske datasæt;
• Branchespecifik tilpasning: tilpasning af LLM'er til juridiske, medicinske eller virksomhedsdomæner;
• Personalisering: brugerdefineret identitet eller stemmekonditionering ved brug af små referencesæt.

Resumé

• Brug modelspecifikke tab-funktioner, der matcher træningsmål og modelstruktur;
• Optimer med adaptive metoder, stabiliseringsteknikker og effektiv planlægning;
• Finjuster fortrænede modeller ved hjælp af moderne low-rank- eller promptbaserede transferstrategier for at reducere omkostninger og øge domænetilpasning.