Autokooderit ja variaatiolliset autokooderit

Autokooderit ovat neuroverkkoja, jotka on suunniteltu oppimaan tehokkaita esityksiä datasta koodaus- ja dekoodausprosessien avulla. Tavallinen autokooderi koostuu kahdesta osasta:

1. Kooderi: pakkaa syötteen matalamman ulottuvuuden esitykseksi.
2. Dekooderi: rekonstruoi alkuperäisen datan pakatusta esityksestä.

Perinteiset autokooderit oppivat deterministisiä kuvauksia, eli ne pakkaavat datan kiinteään latenttiin tilaan. Ne kuitenkin kohtaavat haasteita monipuolisten tulosten tuottamisessa, koska niiden latentti tila on rakenteeton ja epäjatkuva.

Eroavaisuudet tavallisten autokoodereiden ja VAE-mallien välillä

Variaatiolliset autokooderit (VAE) parantavat tavallisia autokoodereita ottamalla käyttöön todennäköisyyspohjaisen latenttitilan, mikä mahdollistaa rakenteellisen ja merkityksellisen uuden datan generoinnin.

Kooderin-dekooderin rakenne ja latenttitilan esitys

VAE-mallit koostuvat kahdesta pääosasta:

1. Kooderi: Määrittää syötedatan todennäköisyysjakauman alemman ulottuvuuden latenttitilassa $z$.
2. Dekooderi: Ottaa näytteitä latenttitilasta ja rekonstruoi syötedatan.

Matemaattinen muotoilu:

Kooderi tuottaa latenttitilalle keskiarvon ja varianssin:

missä:

• $\mu$ tarkoittaa latenttitilan jakauman keskiarvoa;
• $\sigma^2$ tarkoittaa varianssia;
• $f_\mu$ ja $f_\sigma$ ovat funktioita, jotka on parametrisoitu $\theta$:lla, ja ne toteutetaan tyypillisesti neuroverkoilla.

Sen sijaan, että nämä parametrit syötettäisiin suoraan dekooderille, otetaan näyte Gaussin jakaumasta käyttäen reparametrisointikikkaa:

missä:

• $\odot$ tarkoittaa alkioittain tapahtuvaa kertolaskua;
• $\epsilon$ on satunnaismuuttuja, joka on otettu standardin normaalijakauman mukaan.

Tämän kikan avulla gradientit voivat kulkea näytteenoton läpi, mikä mahdollistaa takaisinkulun (backpropagation). Ilman tätä kikkaa stokastinen näytteenotto estäisi gradienttipohjaisen oppimisen.

Dekooderi rekonstruoi syötteen muuttujasta $z$ oppimalla funktion $g(z; \phi)$, joka tuottaa datan jakauman parametrit. Dekooderiverkko opetetaan minimoimaan rekonstruoidun ja alkuperäisen datan välinen ero, mikä varmistaa korkealaatuiset rekonstruktiot.

Todennäköisyysmallinnus VAE-malleissa

VAE-mallit perustuvat bayesilaiseen päättelyyn, jonka avulla ne mallintavat havaittujen tietojen $x$ ja latenttien muuttujien $z$ välistä suhdetta todennäköisyysjakaumien avulla. Perusperiaate pohjautuu Bayesin kaavaan:

Koska $p(x)$ laskeminen vaatii integrointia kaikkien mahdollisten latenttien muuttujien yli, mikä on laskennallisesti mahdotonta, VAE-mallit approksimoivat posteriorin $p(z∣x)$ yksinkertaisemmalla funktiolla $q(z∣x)$, mikä mahdollistaa tehokkaan päättelyn.

Evidence Lower Bound (ELBO)

Sen sijaan, että maksimoitaisiin laskennallisesti mahdoton marginaalitodennäköisyys $p(x)$, VAE-mallit maksimoivat sen alarajan, jota kutsutaan nimellä Evidence Lower Bound (ELBO):

missä:

• Ensimmäinen termi, $\mathbb{E}_{q(z|x)}[\log{p(x|z)}]$, on rekonstruointihäviö, joka varmistaa, että lähtö muistuttaa syötettä;
• Toinen termi, $D_{KL}(q(z|x)\ ||\ p(z))$, on KL-divergenssi, joka regularisoi latenttitilan varmistamalla, että $q(z∣x)$ pysyy lähellä prioria $p(z)$.

Tasapainottamalla näitä kahta termiä, VAE:t saavuttavat tasapainon tarkan rekonstruoinnin ja sujuvan latenttitilan esitysten välillä.

VAE:iden sovellukset

1. Poikkeavuuksien tunnistus

VAE:t voivat oppia datan normaalin rakenteen. Kohdatessaan poikkeavia syötteitä, malli ei kykene rekonstruoimaan niitä hyvin, mikä johtaa suurempiin rekonstruointivirheisiin, joita voidaan käyttää poikkeamien tunnistamiseen.

2. Kuvien synteesi

VAE:t voivat generoida uusia kuvia ottamalla näytteitä opitusta latenttitilasta. Niitä käytetään laajasti sovelluksissa kuten:

• Kasvojen generointi (esim. uusien ihmiskasvojen luominen);
• Tyylinsiirto (esim. taiteellisten tyylien yhdistäminen).

3. Tekstin generointi

VAE:tä voidaan soveltaa luonnollisen kielen käsittelyn (NLP) tehtäviin, joissa niitä käytetään tuottamaan monipuolisia ja johdonmukaisia tekstijonoja.

4. Lääkeaineiden kehitys

VAE:tä on sovellettu bioinformatiikassa ja lääkeaineiden kehityksessä, missä ne generoivat molekyylirakenteita halutuilla ominaisuuksilla.

Yhteenveto

Variational Autoencoderit ovat tehokas generatiivisten mallien luokka, joka tuo todennäköisyysmallinnuksen autoencodereihin. Niiden kyky tuottaa monipuolista ja realistista dataa on tehnyt niistä keskeisen osan modernissa generatiivisessa tekoälyssä.

Perinteisiin autoencodereihin verrattuna VAE:t tarjoavat rakenteellisen latenttitilan, mikä parantaa generointikykyjä. Tutkimuksen edetessä VAE:t jatkavat keskeistä roolia tekoälysovelluksissa, kattaen tietokonenäön, NLP:n ja muut alueet.