Att träna generativa modeller innebär optimering av ofta instabila och komplexa förlustlandskap. Detta avsnitt introducerar förlustfunktioner anpassade för varje modelltyp, optimeringsstrategier för att stabilisera träningen samt metoder för finjustering av förtränade modeller för specifika användningsområden.

Centrala förlustfunktioner

Olika familjer av generativa modeller använder distinkta förlustformuleringar beroende på hur de modellerar datadistributioner.

GAN-förluster

Minimax-förlust (ursprunglig GAN)

Adversarialt upplägg mellan generator $G$ och diskriminator $D$ (exempel med pythorch-biblioteket):

Least squares GAN (LSGAN)

Använder L2-förlust istället för log-förlust för att förbättra stabilitet och gradientflöde:

Wasserstein GAN (WGAN)

Minimerar Earth Mover (EM)-avstånd; ersätter diskriminatorn med en "kritiker" och använder viktklippning eller gradientstraff för Lipschitz-kontinuitet:

VAE-förlust

Evidence Lower Bound (ELBO)

Kombinerar rekonstruktion och regularisering. KL-divergenstermen uppmuntrar den latenta posteriordelen att förbli nära priorn (vanligtvis standardnormalfördelning):

Förlustfunktioner för diffusionsmodeller

Brusprediktionsförlust

Modeller lär sig att avbrusa tillagd Gaussiskt brus över ett diffusionsschema. Varianter använder hastighetsprediktion (t.ex. v-prediktion i Stable Diffusion v2) eller hybrida mål:

Optimeringstekniker

Träning av generativa modeller är ofta instabil och känslig för hyperparametrar. Flera tekniker används för att säkerställa konvergens och kvalitet.

Optimerare och schemaläggare

• Adam / AdamW: adaptiva gradientoptimerare är standard. Använd $\beta_1=0.5,\ \beta_2=0.999$ för GANs;
• RMSprop: används ibland i WGAN-varianter;
• Schemaläggning av inlärningshastighet:
  • Uppvärmningsfaser för transformatorer och diffusionsmodeller;
  • Cosinussänkning eller ReduceLROnPlateau för stabil konvergens.

Stabiliseringsmetoder

• Gradientklippning: undvik exploderande gradienter i RNN:er eller djupa UNets;

• Spektral normalisering: tillämpas på diskriminatorlager i GANs för att upprätthålla Lipschitz-villkor;

• Label smoothing: mjukar upp hårda etiketter (t.ex. verklig = 0,9 istället för 1,0) för att minska överdriven säkerhet;
• Tvåtidsskaleuppdateringsregel (TTUR): använd olika inlärningshastigheter för generator och diskriminator för att förbättra konvergens;
• Träning med blandad precision: utnyttjar FP16 (via NVIDIA Apex eller PyTorch AMP) för snabbare träning på moderna GPU:er.

Finjustering av förtränade generativa modeller

Förtränade generativa modeller (t.ex. Stable Diffusion, LLaMA, StyleGAN2) kan finjusteras för domänspecifika uppgifter med hjälp av lättare träningsstrategier.

Transferinlärningstekniker

• Fullständig finjustering: träna om alla modellvikter. Hög beräkningskostnad men maximal flexibilitet;

• Lageromfrysning / gradvis upptining: börja med att frysa de flesta lager och tina sedan gradvis upp utvalda lager för bättre finjustering. Detta undviker katastrofal glömska. Att frysa tidiga lager hjälper till att bevara generella funktioner från förträningen (som kanter eller ordmönster), medan upptining av senare lager låter modellen lära sig uppgiftsspecifika funktioner;

• LoRA / adapterlager: injicera lågrankiga träningsbara lager utan att uppdatera grundmodellens parametrar;

• DreamBooth / textuell inversion (diffusionsmodeller):
  • Finjustera på ett fåtal ämnesspecifika bilder.
  • Använd diffusers-pipeline:

• Prompt-tuning / p-tuning:

Vanliga användningsområden

• Stilanpassning: finjustering på anime-, serie- eller konstnärliga datamängder;
• Branschspecifik anpassning: anpassning av LLM:er till juridiska, medicinska eller företagsdomäner;
• Personalisering: anpassad identitet eller röstkonditionering med hjälp av små referensuppsättningar.

Sammanfattning

• Använd modellspecifika förlustfunktioner som matchar träningsmålen och modellstrukturen;
• Optimera med adaptiva metoder, stabiliseringstekniker och effektiv schemaläggning;
• Finjustera förtränade modeller med moderna låg-rank- eller promptbaserade överföringsstrategier för att minska kostnader och öka domänanpassning.