Sannsynlighetsfordelinger og Tilfeldighet i KI

Sannsynlighetsfordelinger og tilfeldighet er kjernen i generative modeller, og gjør det mulig for AI-systemer å skape varierte og realistiske resultater. I stedet for å eksplisitt definere sannsynlighetsteori, fokuserer dette kapittelet på hvordan sannsynlighet brukes i Generative AI for å modellere usikkerhet, trekke ut data og trene generative modeller.

Sannsynlighetsfordelingens rolle i Generative AI

Generative modeller er avhengige av sannsynlighetsfordelinger for å lære datamønstre og generere nye eksempler. Hovedideene inkluderer:

• Latent rom-representasjon: mange generative modeller (f.eks. VAE-er, GAN-er) kartlegger inndata til en lavdimensjonal sannsynlighetsfordeling. Prøvetaking fra denne fordelingen genererer nye datapunkter;
• Sannsynlighetsestimering: probabilistiske modeller estimerer sannsynligheten for å observere et datapunkt gitt en lært fordeling, noe som styrer treningen;
• Prøvetaking og generering: prosessen med å trekke tilfeldige prøver fra lærte fordelinger for å skape nye syntetiske data.

Viktige matematiske konsepter:

For en sannsynlighetsfordeling $p(x)$ er sannsynligheten for data $X$ gitt modellparametere $\theta$:

Maksimering av denne sannsynligheten hjelper generative modeller å lære mønstre fra data. I generativ KI antar modeller ofte spesifikke former for sannsynlighetsfordelinger—slik som Gaussisk, Bernoulli eller kategorisk—for å representere data. Valg av fordeling påvirker hvordan modeller lærer og genererer nye eksempler. For eksempel, i tekstgenerering brukes kategoriske fordelinger til å modellere sannsynligheten for hvert mulig ord gitt tidligere ord.

Tilfeldighet og støy i generative modeller

Støy spiller en avgjørende rolle i generativ AI, sikrer variasjon og forbedrer robusthet:

• Latent støy i GANs: I GANs blir en støyvektor $z \sim p(x)$ (ofte trukket fra en Gaussisk eller uniform fordeling) transformert til realistiske eksempler gjennom generatoren. Denne tilfeldigheten sikrer variasjon i genererte bilder;
• Variasjonsinferens i VAEs: VAEs introduserer Gaussisk støy i latentrommet, noe som muliggjør jevn interpolasjon mellom genererte eksempler. Dette sikrer at små endringer i latente variabler gir meningsfulle variasjoner i utdata;
• Diffusjonsmodeller og stokastiske prosesser: Disse modellene lærer å reversere en gradvis støytilførsel for å generere data av høy kvalitet. Ved å iterativt forbedre støyete innganger kan de generere komplekse, realistiske bilder.

Eksempel: Gaussisk latentrom i VAEs

I VAEs gir encoder ut parametere for en Gaussisk fordeling:

I stedet for å bruke en deterministisk avbildning, trekker VAEs fra denne fordelingen, noe som introduserer kontrollert tilfeldighet som muliggjør variert generering. Denne teknikken gjør det mulig for VAEs å generere nye ansikter ved å interpolere mellom ulike representasjoner i latentrommet.

Utvalgsmetoder i generativ AI

Utvalgsteknikker er essensielle for å generere nye datapunkter fra lærte fordelinger:

• Monte Carlo-utvalg: brukt i probabilistiske modeller som Bayesiansk inferens for å tilnærme forventningsverdier. Monte Carlo-integrasjon estimerer en forventning som:

hvor $X_i$ er trukket fra målfordelingen.

• Reparametriseringstriks: i VAE-er sikrer gradientflyt gjennom stokastiske noder ved å uttrykke $z$ som:

Dette trikset muliggjør effektiv tilbakepropagering gjennom stokastiske lag.

• Ancestral sampling: i autoregressive modeller (f.eks. GPT) genereres prøver sekvensielt basert på betingede sannsynligheter. For eksempel, ved tekstgenerering predikerer en modell neste ord gitt de foregående:

Denne sekvensielle prosessen sikrer sammenheng i generert tekst.

Eksempel: Ancestral sampling i tekstgenerering

Anta at vi trener en generativ modell til å generere engelske setninger. Gitt inputen "The cat", trekker modellen neste ord fra en lært sannsynlighetsfordeling og produserer utdata som:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Hver neste-ord-prediksjon avhenger av tidligere genererte ord, noe som skaper meningsfulle sekvenser.

Praktiske anvendelser i generativ KI

• GANs: bruker støyvektorer for å generere høyoppløselige bilder;
• VAEs: koder data inn i en sannsynlighetsfordeling for jevn interpolasjon i latent rom;
• Diffusjonsmodeller: bruker stokastisk støyfjerning for å generere bilder iterativt;
• Bayesiske generative modeller: modellerer usikkerhet i generative oppgaver.

Konklusjon

Sannsynlighet og tilfeldighet er grunnlaget for generativ KI, og gjør det mulig for modeller å lære fordelinger, generere varierte utdata og etterligne variasjon fra virkeligheten. De neste kapitlene bygger videre på disse konseptene for å utforske probabilistisk modellering, nevrale nettverk og generative arkitekturer.