Todennäköisyysjakaumat ja satunnaisuus ovat generatiivisten mallien ytimessä, mahdollistaen tekoälyjärjestelmien tuottaa monipuolisia ja realistisia tuloksia. Tämän luvun painopisteenä ei ole todennäköisyysteorian eksplisiittinen määrittely, vaan se, miten todennäköisyyttä hyödynnetään generatiivisessa tekoälyssä epävarmuuden mallintamiseen, datan näytteistämiseen ja generatiivisten mallien kouluttamiseen.

Todennäköisyysjakaumien rooli generatiivisessa tekoälyssä

Generatiiviset mallit hyödyntävät todennäköisyysjakaumia oppiakseen datan rakenteita ja tuottaakseen uusia näytteitä. Keskeisiä käsitteitä ovat:

• Latenttitilan representaatio: monet generatiiviset mallit (esim. VAE:t, GAN:t) kuvaavat syötteen matalampaan ulottuvuuteen todennäköisyysjakauman avulla. Näytteiden ottaminen tästä jakaumasta tuottaa uusia datapisteitä;
• Todennäköisyyden estimointi: probabilistiset mallit arvioivat havaintojen todennäköisyyttä opitun jakauman perusteella, mikä ohjaa mallin koulutusta;
• Näytteistäminen ja generointi: satunnaisotosten ottaminen opituista jakaumista uuden synteettisen datan luomiseksi.

Keskeiset matemaattiset käsitteet:

Todennäköisyysjakaumalle $p(x)$, havaintoaineiston $X$ uskottavuus malliparametrien $\theta$ suhteen on:

Tämän uskottavuuden maksimointi auttaa generatiivisia malleja oppimaan aineistosta. Generatiivisessa tekoälyssä mallit olettavat usein tietynlaisia todennäköisyysjakaumia—kuten Gaussin, Bernoullin tai kategorisen jakauman—kuvaamaan dataa. Jakauman valinta vaikuttaa siihen, miten mallit oppivat ja tuottavat uusia näytteitä. Esimerkiksi tekstin generoinnissa kategorisia jakaumia käytetään mallintamaan jokaisen mahdollisen sanan todennäköisyyttä aiempien sanojen perusteella.

Satunnaisuus ja kohina generatiivisissa malleissa

Kohinalla on keskeinen rooli generatiivisessa tekoälyssä, sillä se varmistaa monimuotoisuuden ja parantaa mallien robustisuutta:

• Latentti kohina GAN-malleissa: GAN-malleissa kohinavektori $z \sim p(x)$ (yleensä otettu Gaussin tai tasaisesta jakaumasta) muunnetaan generaattorin avulla realistisiksi näytteiksi. Tämä satunnaisuus takaa vaihtelun generoituviin kuviin;
• Varianssi-inferenssi VAE-malleissa: VAE-mallit lisäävät Gaussin kohinaa latenttiin tilaan, mikä mahdollistaa sujuvan interpoloinnin generoituviin näytteisiin. Tämä varmistaa, että pienet muutokset latenttimuuttujissa johtavat merkityksellisiin muutoksiin tuloksissa;
• Diffuusiomallit ja stokastiset prosessit: Nämä mallit oppivat kääntämään asteittaisen kohinanlisäysprosessin tuottaakseen korkealaatuista dataa. Iteratiivisesti tarkentamalla kohinaisia syötteitä ne voivat generoida monimutkaisia ja realistisia kuvia.

Esimerkki: Gaussin latenttitila VAE-malleissa

VAE-malleissa kooderi tuottaa Gaussin jakauman parametrit:

Sen sijaan, että käytettäisiin determinististä kuvausta, VAE:t ottavat näytteitä tästä jakaumasta, mikä tuo mukanaan kontrolloitua satunnaisuutta ja mahdollistaa monipuolisen generoinnin. Tämän tekniikan avulla VAE:t voivat luoda uusia kasvoja interpoloimalla eri latenttitilan esitysten välillä.

Näytteenottomenetelmät generatiivisessa tekoälyssä

Näytteenottotekniikat ovat olennaisia uusien datapisteiden tuottamisessa opituista jakaumista:

• Monte Carlo -näytteenotto: käytetään todennäköisyyspohjaisissa malleissa, kuten bayesilaisessa päättelyssä, odotusarvojen approksimointiin. Monte Carlo -integraatio arvioi odotusarvon seuraavasti:

missä $X_i$ on otettu kohdejakaumasta.

• Reparametrisointikikka: VAE-malleissa varmistaa gradientin kulun stokastisten solmujen läpi ilmaisemalla $z$ seuraavasti:

Tämä kikka mahdollistaa tehokkaan takaisinkulun stokastisten kerrosten läpi.

• Ancestraalinen otanta: autoregressiivisissa malleissa (esim. GPT) näytteet tuotetaan peräkkäin ehdollisten todennäköisyyksien perusteella. Esimerkiksi tekstiä generoitaessa malli ennustaa seuraavan sanan aiempien sanojen perusteella:

Tämä peräkkäinen prosessi varmistaa johdonmukaisuuden tuotetussa tekstissä.

Esimerkki: Ancestraalinen otanta tekstin generoinnissa

Oletetaan, että generatiivinen malli opetetaan tuottamaan englanninkielisiä lauseita. Kun syötteenä on "The cat", malli arpoo seuraavan sanan opitusta todennäköisyysjakaumasta ja tuottaa esimerkiksi:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Jokainen seuraavan sanan ennuste riippuu aiemmin tuotetuista sanoista, muodostaen mielekkäitä lauseita.

Käytännön sovelluksia generatiivisessa tekoälyssä

• GANit: käyttävät kohinavektoreita tuottaakseen korkearesoluutioisia kuvia;
• VAE:t: koodaavat dataa todennäköisyysjakaumaan sujuvaa latenttitilan interpolointia varten;
• Diffuusiomallit: käyttävät stokastista kohinanpoistoa kuvien tuottamiseen vaiheittain;
• Bayesiläiset generatiiviset mallit: mallintavat epävarmuutta generatiivisissa tehtävissä.

Yhteenveto

Todennäköisyys ja satunnaisuus muodostavat Generatiivisen tekoälyn perustan, mahdollistaen mallien oppia jakaumia, tuottaa monipuolisia tulosteita ja lähestyä todellisen maailman vaihtelua. Seuraavissa luvuissa syvennytään näihin käsitteisiin tarkastelemalla todennäköisyysmallinnusta, neuroverkkoja ja generatiivisia arkkitehtuureja.