Sannsynlighetsfordelinger og tilfeldighet er kjernen i generative modeller, og gjør det mulig for AI-systemer å skape varierte og realistiske resultater. I stedet for å definere sannsynlighetsteori eksplisitt, fokuserer dette kapittelet på hvordan sannsynlighet brukes i Generativ AI for å modellere usikkerhet, trekke ut data og trene generative modeller.

Sannsynlighetsfordelingers rolle i Generativ AI

Generative modeller benytter sannsynlighetsfordelinger for å lære datamønstre og generere nye eksempler. Hovedideene inkluderer:

• Latent rom-representasjon: mange generative modeller (f.eks. VAE, GAN) kartlegger inndata til en lavdimensjonal sannsynlighetsfordeling. Utvalg fra denne fordelingen genererer nye datapunkter;
• Sannsynlighetsestimering: probabilistiske modeller estimerer sannsynligheten for å observere et datapunkt gitt en lært fordeling, noe som styrer treningen;
• Utvalg og generering: prosessen med å trekke tilfeldige utvalg fra lærte fordelinger for å skape nye syntetiske data.

Viktige matematiske konsepter:

For en sannsynlighetsfordeling $p(x)$ er sannsynligheten for data $X$ gitt modellparametere $\theta$:

Maksimering av denne sannsynligheten hjelper generative modeller å lære mønstre fra data. I generativ KI antar modeller ofte spesifikke former for sannsynlighetsfordelinger—som Gaussisk, Bernoulli eller kategorisk—for å representere data. Valg av fordeling påvirker hvordan modeller lærer og genererer nye eksempler. For eksempel brukes kategoriske fordelinger i tekstgenerering for å modellere sannsynligheten for hvert mulig ord gitt tidligere ord.

Tilfeldighet og støy i generative modeller

Støy spiller en avgjørende rolle i generativ KI, sikrer variasjon og forbedrer robusthet:

• Latent støy i GANs: I GANs blir en støyvektor $z \sim p(x)$ (ofte trukket fra en Gaussisk eller Uniform fordeling) transformert til realistiske eksempler gjennom generatoren. Denne tilfeldigheten sikrer variasjon i genererte bilder;
• Variasjonell inferens i VAEs: VAEs introduserer Gaussisk støy i latentrommet, noe som tillater jevn interpolasjon mellom genererte eksempler. Dette sikrer at små endringer i latente variabler gir meningsfulle variasjoner i utdata;
• Diffusjonsmodeller og stokastiske prosesser: Disse modellene lærer å reversere en gradvis støytilførsel for å generere data av høy kvalitet. Ved å iterativt forbedre støyete innganger kan de generere komplekse, realistiske bilder.

Eksempel: Gaussisk latentrom i VAEs

I VAEs gir enkoderen parametere for en Gaussisk fordeling:

I stedet for å bruke en deterministisk avbildning, trekker VAE-er prøver fra denne fordelingen, noe som introduserer kontrollert tilfeldighet som muliggjør variert generering. Denne teknikken gjør det mulig for VAE-er å generere nye ansikter ved å interpolere mellom ulike representasjoner i det latente rommet.

Utvalgsmetoder i generativ KI

Utvalgsteknikker er essensielle for å generere nye datapunkter fra lærte fordelinger:

• Monte Carlo-utvalg: brukt i probabilistiske modeller som Bayesiansk inferens for å tilnærme forventningsverdier. Monte Carlo-integrasjon estimerer en forventningsverdi som:

hvor $X_i$ er trukket fra målfordelingen.

• Reparametriseringstriks: i VAE-er sikrer gradientflyt gjennom stokastiske noder ved å uttrykke $z$ som:

Dette trikset muliggjør effektiv tilbakepropagering gjennom stokastiske lag.

• Ancestral Sampling: i autoregressive modeller (f.eks. GPT) genereres prøver sekvensielt basert på betingede sannsynligheter. For eksempel, når tekst genereres, predikerer en modell neste ord gitt de foregående:

Denne sekvensielle prosessen sikrer sammenheng i generert tekst.

Eksempel: Ancestral Sampling i tekstgenerering

Anta at vi trener en generativ modell til å generere engelske setninger. Gitt inputen "The cat", trekker modellen neste ord fra en lært sannsynlighetsfordeling, og produserer utdata som:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Hver neste ordprediksjon avhenger av tidligere genererte ord, noe som skaper meningsfulle sekvenser.

Praktiske anvendelser i generativ KI

• GANs: bruker støyvektorer for å generere høyoppløselige bilder;
• VAE-er: koder data inn i en sannsynlighetsfordeling for jevn interpolering i latent rom;
• Diffusjonsmodeller: bruker stokastisk fjerning av støy for å generere bilder iterativt;
• Bayesiske generative modeller: modellerer usikkerhet i generative oppgaver.

Konklusjon

Sannsynlighet og tilfeldighet utgjør grunnlaget for Generativ KI, og gjør det mulig for modeller å lære fordelinger, generere varierte utdata og etterligne variasjonene i virkeligheten. De neste kapitlene bygger videre på disse konseptene for å utforske sannsynlighetsmodellering, nevrale nettverk og generative arkitekturer.