Å trene generative modeller innebærer å optimalisere ofte ustabile og komplekse tapslandskap. Denne delen introduserer tapsfunksjoner tilpasset hver modelltype, optimaliseringsstrategier for å stabilisere treningen, og metoder for finjustering av forhåndstrente modeller for tilpassede bruksområder.

Kjerne-tapsfunksjoner

Ulike familier av generative modeller benytter ulike tapsformuleringer avhengig av hvordan de modellerer datadistribusjoner.

GAN-tap

Minimax-tap (opprinnelig GAN)

Adversarialt oppsett mellom generator $G$ og diskriminator $D$ (eksempel med pythorch-biblioteket):

Least squares GAN (LSGAN)

Bruker L2-tap i stedet for log-tap for å forbedre stabilitet og gradientflyt:

Wasserstein GAN (WGAN)

Minimerer Earth Mover (EM)-avstand; erstatter diskriminator med en "kritiker" og bruker vektklipping eller gradientstraff for Lipschitz-kontinuitet:

VAE-tap

Evidence Lower Bound (ELBO)

Kombinerer rekonstruksjon og regularisering. KL-divergenstermen oppmuntrer den latente posterioren til å forbli nær prioren (vanligvis standard normal):

Tap for diffusjonsmodell

Tap for støyforutsigelse

Modeller lærer å fjerne Gaussisk støy som er lagt til gjennom en diffusjonsplan. Varianter benytter hastighetsforutsigelse (f.eks. v-prediksjon i Stable Diffusion v2) eller hybride målsetninger:

Optimaliseringsteknikker

Trening av generative modeller er ofte ustabilt og følsomt for hyperparametere. Flere teknikker benyttes for å sikre konvergens og kvalitet.

Optimalisatorer og planleggere

• Adam / AdamW: adaptive gradientoptimalisatorer er standardvalg. Bruk $\beta_1=0.5,\ \beta_2=0.999$ for GANs;
• RMSprop: benyttes noen ganger i WGAN-varianter;
• Læringsrateplanlegging:
  • Oppvarmingsfaser for transformere og diffusjonsmodeller;
  • Cosine decay eller ReduceLROnPlateau for stabil konvergens.

Stabiliseringsmetoder

• Gradientklipping: unngå eksploderende gradienter i RNN-er eller dype UNets;

• Spektral normalisering: brukt på diskriminatorlag i GAN-er for å håndheve Lipschitz-begrensninger;

• Etikettdemping: mykner harde etiketter (f.eks. ekte = 0,9 i stedet for 1,0) for å redusere overkonfidens;
• To-tids-skala oppdateringsregel (TTUR): bruk ulike læringsrater for generator og diskriminator for å forbedre konvergens;
• Trening med blandet presisjon: utnytter FP16 (via NVIDIA Apex eller PyTorch AMP) for raskere trening på moderne GPU-er.

Finjustering av forhåndstrente generative modeller

Forhåndstrente generative modeller (f.eks. Stable Diffusion, LLaMA, StyleGAN2) kan finjusteres for domene-spesifikke oppgaver ved bruk av lettere treningsstrategier.

Overføringslæringsteknikker

• Full finjustering: tren alle modellens vekter på nytt. Høy beregningskostnad, men maksimal fleksibilitet;

• Lagvis frysing / gradvis opptining: start med å fryse de fleste lagene, og tin deretter gradvis utvalgte lag for bedre finjustering. Dette unngår katastrofal glemsel. Å fryse tidlige lag bidrar til å bevare generelle trekk fra forhåndstreningen (som kanter eller ordmønstre), mens opptining av senere lag lar modellen lære oppgavespesifikke trekk;

• LoRA / adapterlag: injiser lav-rang trenbare lag uten å oppdatere basismodellens parametere;

• DreamBooth / tekstuell inversjon (diffusjonsmodeller):
  • Finjustering på et lite antall motivspesifikke bilder.
  • Bruk diffusers-pipeline:

• Prompt-tuning / p-tuning:

Vanlige bruksområder

• Stiltilpasning: finjustering på anime-, tegneserie- eller kunstneriske datasett;
• Bransjespesifikk tilpasning: tilpasse LLM-er til juridiske, medisinske eller bedriftsdomener;
• Personalisering: tilpasset identitet eller stemmekondisjonering ved bruk av små referansesett.

Sammendrag

• Bruk modellspecifikke tapsfunksjoner som samsvarer med treningsmål og modellstruktur;
• Optimaliser med adaptive metoder, stabiliseringsteknikker og effektiv planlegging;
• Finjuster forhåndstrente modeller ved hjelp av moderne lav-rang eller prompt-baserte overføringsstrategier for å redusere kostnader og øke domenetilpasning.