Generatiiviset vastakkaiset verkot (GANit) ovat generatiivisten mallien luokka, jonka Ian Goodfellow esitteli vuonna 2014. Ne koostuvat kahdesta neuroverkosta — Generaattorista ja Erottelijasta — joita koulutetaan samanaikaisesti peliteoreettisessa viitekehyksessä. Generaattori pyrkii tuottamaan dataa, joka muistuttaa oikeaa dataa, kun taas erottelija pyrkii erottamaan oikean datan generoituun dataan verrattuna.

GANit oppivat tuottamaan datasampleja kohinasta ratkaisemalla minimax-pelin. Koulutuksen edetessä generaattori kehittyy tuottamaan yhä realistisempaa dataa, ja erottelija paranee tunnistamaan oikean ja väärennetyn datan välisen eron.

GANin arkkitehtuuri

Perustason GAN-malli koostuu kahdesta ydinkomponentista:

1. Generaattori (G)

• Ottaa satunnaisen kohinavektorin $z \sim p_z(z)$ syötteenä;
• Muuntaa sen neuroverkon läpi datasampleksi $G(z)$, jonka on tarkoitus muistuttaa todellisen jakauman dataa.

2. Erottelija (D)

• Ottaa joko aidon datan näytteen $x \sim p_x(x)$ tai generoitu näytteen $G(z)$;
• Tuottaa skalaarin välillä 0 ja 1, arvioiden todennäköisyyttä, että syöte on aito.

Näitä kahta komponenttia koulutetaan samanaikaisesti. Generaattorin tavoitteena on tuottaa realistisia näytteitä huijatakseen erottelijaa, kun taas erottelijan tavoitteena on tunnistaa oikein aidot ja generoidut näytteet.

GANien minimax-peli

GANien ytimessä on minimax-peli, joka on peliteoriasta johdettu käsite. Tässä asetelmassa:

• Generaattori $G$ ja erottelija $D$ ovat kilpailevia osapuolia;
• $D$ pyrkii maksimoimaan kykynsä erottaa aidot ja generoidut tiedot;
• $G$ pyrkii minimoimaan $D$:n kyvyn havaita sen tuottamat väärennetyt tiedot.

Tämä dynamiikka määrittelee nollasummapelin, jossa toisen voitto on toisen tappio. Optimointi määritellään seuraavasti:

Generaattori pyrkii huijaamaan erottelijaa tuottamalla näytteitä $G(z)$, jotka ovat mahdollisimman lähellä aitoa dataa.

Häviöfunktiot

Vaikka alkuperäinen GAN-tavoite määrittelee minimax-pelin, käytännössä koulutuksen vakauttamiseksi käytetään vaihtoehtoisia häviöfunktioita.

• Ei-saturaatioinen generaattorin häviö:

Tämä auttaa generaattoria saamaan vahvoja gradientteja, vaikka diskriminaattori suoriutuu hyvin.

• Diskriminaattorin häviö:

Nämä häviöt kannustavat generaattoria tuottamaan näytteitä, jotka lisäävät diskriminaattorin epävarmuutta ja parantavat konvergenssia koulutuksen aikana.

GAN-arkkitehtuurien keskeiset variantit

Useita GAN-tyyppejä on kehitetty ratkaisemaan tiettyjä rajoitteita tai parantamaan suorituskykyä:

Ehdollinen GAN (cGAN)

Ehdolliset GANit laajentavat tavanomaista GAN-kehystä tuomalla lisätietoa (yleensä luokkia) sekä generaattorille että diskriminaattorille. Sen sijaan, että dataa tuotettaisiin pelkästä satunnaismelusta, generaattori saa sekä melun $z$ että ehdon $y$ (esim. luokkamerkki). Myös diskriminaattori saa $y$ arvioidakseen, onko näyte realistinen kyseisellä ehdolla.

• Käyttökohteet: luokkakohtainen kuvagenerointi, kuva-kuva-muunnos, teksti-kuva-generointi.

Deep Convolutional GAN (DCGAN)

DCGANit korvaavat alkuperäisten GANien täysin yhdistetyt kerrokset konvoluutio- ja transponoiduilla konvoluutiokerroksilla, mikä tekee niistä tehokkaampia kuvien generoinnissa. Ne tuovat myös mukanaan arkkitehtonisia ohjeita, kuten täysin yhdistettyjen kerrosten poistamisen, batch-normalisoinnin käytön sekä ReLU/LeakyReLU-aktivointien hyödyntämisen.

• Käyttökohteet: valokuvamaisen kuvan generointi, visuaalisten representaatioiden oppiminen, valvomaton piirreoppiminen.

CycleGAN CycleGANit ratkaisevat parittoman kuva-kuva-muunnoksen ongelman. Toisin kuin muut mallit, jotka vaativat parillisia datasettejä (esim. sama valokuva kahdessa eri tyylissä), CycleGANit voivat oppia muunnoksia kahden domainin välillä ilman paritettuja esimerkkejä. Ne esittelevät kaksi generaattoria ja kaksi diskriminaattoria, joista kumpikin vastaa muunnoksesta yhteen suuntaan (esim. valokuvista maalauksiin ja päinvastoin), ja käyttävät cycle-consistency-tappiota varmistaakseen, että domainista toiseen ja takaisin käännetty kuva palautuu alkuperäiseksi. Tämä tappio on keskeinen sisällön ja rakenteen säilyttämisessä.

Cycle-Consistency Loss varmistaa:

missä:

• $G_{AB}$ muuntaa kuvat domainista A domainiin B;
• $G_{BA}$ muuntaa domainista B domainiin A.
• $x \in A, y \in B$.

Käyttökohteet: valokuvan muuntaminen taiteeksi, hevosen muuttaminen seepraksi, äänen muuntaminen puhujien välillä.

StyleGAN

StyleGAN, jonka on kehittänyt NVIDIA, tuo generaattoriin tyyliin perustuvan ohjauksen. Sen sijaan, että kohinavektori syötettäisiin suoraan generaattorille, se kulkee läpi muunnosverkon, joka tuottaa "tyylivektoreita" vaikuttamaan generaattorin jokaiseen kerrokseen. Tämä mahdollistaa yksityiskohtaisen hallinnan visuaalisista ominaisuuksista, kuten hiusten väristä, kasvonilmeistä tai valaistuksesta.

Merkittäviä innovaatioita:

• Style mixing, mahdollistaa useiden latenttikoodien yhdistämisen;
• Adaptive Instance Normalization (AdaIN), ohjaa generaattorin ominaisuuskarttoja;
• Progressiivinen kasvu, koulutus alkaa matalalla resoluutiolla ja kasvaa ajan myötä.

Käyttökohteet: erittäin korkean resoluution kuvien generointi (esim. kasvot), visuaalisten attribuuttien hallinta, taiteen generointi.

Vertailu: GAN:t vs VAE:t

GAN:t ovat tehokas generatiivisten mallien luokka, joka kykenee tuottamaan erittäin realistista dataa vastakkaisella oppimisprosessilla. Niiden ydin perustuu minimax-peliin kahden verkon välillä, joissa käytetään adversaarisia tappioita molempien osien parantamiseksi iteratiivisesti. Vahva ymmärrys niiden arkkitehtuurista, tappiofunktioista—mukaan lukien variantit kuten cGAN, DCGAN, CycleGAN ja StyleGAN—sekä niiden eroista muihin malleihin kuten VAE:t antaa tarvittavan pohjan sovelluksille esimerkiksi kuvageneroinnissa, videon synteesissä, datan augmentoinnissa ja muilla alueilla.