Generatiivisten mallien koulutus sisältää usein epävakaiden ja monimutkaisten tappiofunktioiden optimointia. Tässä osiossa esitellään kullekin mallityypille räätälöidyt tappiofunktiot, koulutuksen vakauttamiseen tarkoitetut optimointistrategiat sekä menetelmät esikoulutettujen mallien hienosäätöön yksilöllisiin käyttötarkoituksiin.

Keskeiset tappiofunktiot

Eri generatiivisten mallien perheet käyttävät erilaisia tappiofunktioita riippuen siitä, miten ne mallintavat datan jakaumia.

GAN-tappiot

Minimax-tappio (alkuperäinen GAN)

Generaattorin $G$ ja diskriminaattorin $D$ välinen adversaarinen asetelma (esimerkki pythorch-kirjastolla):

Least squares GAN (LSGAN)

Käyttää L2-häviötä logaritmisen häviön sijaan parantaakseen vakautta ja gradienttien kulkua:

Wasserstein GAN (WGAN)

Minimoi Earth Mover (EM) -etäisyyden; korvaa diskriminaattorin "kriitikolla" ja käyttää painojen leikkausta tai gradienttirangaistusta Lipschitz-jatkuvuuden varmistamiseksi:

VAE-häviö

Evidence Lower Bound (ELBO)

Yhdistää rekonstruoinnin ja regularisoinnin. KL-divergenssitermi ohjaa latenttiposteriota pysymään lähellä prioria (yleensä standardinormaalijakauma):

Diffuusiomallin tappiollisuudet

Kohinan ennustamisen tappio

Mallit oppivat poistamaan lisätyn Gaussin kohinan diffuusiokaavion aikana. Vaihtoehtoisia menetelmiä ovat nopeuden ennustaminen (esim. v-prediction Stable Diffusion v2:ssa) tai hybriditavoitteet:

Optimointitekniikat

Generatiivisten mallien koulutus on usein epävakaata ja herkkää hyperparametreille. Useita tekniikoita käytetään konvergenssin ja laadun varmistamiseksi.

Optimointimenetelmät ja aikatauluttajat

• Adam / AdamW: adaptiiviset gradienttioptimointimenetelmät ovat alan standardi. Käytä $\beta_1=0.5,\ \beta_2=0.999$ GAN-malleissa;
• RMSprop: joskus käytössä WGAN-muunnelmissa;
• Oppimisnopeuden aikataulutus:
  • Lämmitelyvaiheet transformereille ja diffuusiomalleille;
  • Kosininen vaimennus tai ReduceLROnPlateau vakaaseen konvergenssiin.

Vakautusmenetelmät

• Gradientin leikkaus: estää gradienttien räjähtämisen RNN:issä tai syvissä UNet-malleissa;

• Spektrinen normalisointi: käytetään GAN-mallien diskriminaattorikerroksissa Lipschitz-ehtojen varmistamiseksi;

• Label smoothing: pehmentää kovia luokkia (esim. todellinen = 0,9 sen sijaan että 1,0) ylivarmentumisen vähentämiseksi;
• Kahden aikaskaala päivityssääntö (TTUR): käytetään eri oppimisnopeuksia generaattorille ja diskriminaattorille konvergenssin parantamiseksi;
• Sekatarkkuusharjoittelu: hyödyntää FP16-tarkkuutta (NVIDIA Apexin tai PyTorch AMP:n kautta) nopeampaan harjoitteluun moderneilla GPU:illa.

Esikoulutettujen generatiivisten mallien hienosäätö

Esikoulutettuja generatiivisia malleja (esim. Stable Diffusion, LLaMA, StyleGAN2) voidaan hienosäätää alakohtaisiin tehtäviin kevyemmillä koulutusstrategioilla.

Siirtoloppuoppimisen tekniikat

• Täysi hienosäätö: kaikkien mallin painojen uudelleenkoulutus. Korkea laskentakustannus, mutta maksimaalinen joustavuus;

• Kerrosjäädytys / asteittainen sulatus: aloitetaan jäädyttämällä suurin osa kerroksista, sitten valittuja kerroksia sulatetaan asteittain paremman hienosäädön saavuttamiseksi. Tämä ehkäisee katastrofaalista unohtamista. Alkuvaiheen kerrosten jäädyttäminen säilyttää esikoulutuksen yleiset piirteet (kuten reunat tai sanakuviot), kun taas myöhempien kerrosten sulatus mahdollistaa mallin oppia tehtäväkohtaisia ominaisuuksia;

• LoRA / adapterikerrokset: lisää matalan asteen opetettavia kerroksia ilman, että perusmallin parametreja päivitetään;

• DreamBooth / tekstuaalinen inversio (diffuusiomallit):
  • Hienosäätö muutamalla kohteeseen liittyvällä kuvalla.
  • Käytä diffusers-putkistoa:

• Prompt-tuuning / p-tuuning:

Yleiset käyttötapaukset

• Tyylin mukauttaminen: hienosäätö anime-, sarjakuva- tai taideaineistoilla;
• Toimialakohtainen hienosäätö: LLM-mallien sovittaminen oikeudellisiin, lääketieteellisiin tai yritysalueisiin;
• Personointi: mukautettu identiteetti tai äänen ehdollistaminen pienten viitejoukkojen avulla.

Yhteenveto

• Käytä mallikohtaisia tappiotoimintoja, jotka vastaavat koulutustavoitteita ja mallin rakennetta;
• Optimoi adaptiivisilla menetelmillä, vakautustekniikoilla ja tehokkaalla ajoituksella;
• Hienosäädä esikoulutettuja malleja nykyaikaisilla matalan asteen tai kehotepohjaisilla siirtostrategioilla kustannusten vähentämiseksi ja toimialakohtaisen mukautuvuuden lisäämiseksi.