Lære Sannsynlighetsfordelinger og Tilfeldighet i KI

Sveip for å vise menyen

Sannsynlighetsfordelinger og tilfeldighet er sentrale i generative modeller, og gjør det mulig for AI-systemer å skape varierte og realistiske resultater. I stedet for å definere sannsynlighetsteori eksplisitt, fokuserer dette kapittelet på hvordan sannsynlighet brukes i Generativ AI for å modellere usikkerhet, trekke ut data og trene generative modeller.

Sannsynlighetsfordelingers rolle i Generativ AI

Generative modeller benytter sannsynlighetsfordelinger for å lære datamønstre og generere nye eksempler. Hovedideene inkluderer:

Latent rom-representasjon: mange generative modeller (f.eks. VAE, GAN) kartlegger inndata til en lavdimensjonal sannsynlighetsfordeling. Utvalg fra denne fordelingen genererer nye datapunkter;
Sannsynlighetsestimering: probabilistiske modeller estimerer sannsynligheten for å observere et datapunkt gitt en lært fordeling, noe som styrer treningen;
Sampling og generering: prosessen med å trekke tilfeldige utvalg fra lærte fordelinger for å skape nye syntetiske data.

Viktige matematiske konsepter:

For en sannsynlighetsfordeling $p(x)$ er sannsynligheten for data $X$ gitt modellparametere $\theta$ :

\mathcal{L}(\theta|X)= \prod^{N}_{i=1}p(x_i|\theta)

Maksimering av denne sannsynligheten hjelper generative modeller å lære mønstre fra data. I generativ AI antar modeller ofte bestemte former for sannsynlighetsfordelinger—som Gaussisk, Bernoulli eller kategorisk—for å representere data. Valg av fordeling påvirker hvordan modeller lærer og genererer nye eksempler. For eksempel, i tekstgenerering brukes kategoriske fordelinger til å modellere sannsynligheten for hvert mulig ord gitt tidligere ord.

Tilfeldighet og støy i generative modeller

Støy spiller en avgjørende rolle i generativ AI, sikrer variasjon og forbedrer robusthet:

Latent støy i GANs: I GANs blir en støyvektor $z \sim p(x)$ (ofte trukket fra en Gaussisk eller Uniform fordeling) transformert til realistiske eksempler gjennom generatoren. Denne tilfeldigheten sikrer variasjon i genererte bilder;
Variasjonell inferens i VAEs: VAEs introduserer Gaussisk støy i latent rom, noe som muliggjør jevn interpolasjon mellom genererte eksempler. Dette sikrer at små endringer i latente variabler gir meningsfulle variasjoner i utdata;
Diffusjonsmodeller og stokastiske prosesser: Disse modellene lærer å reversere en gradvis støytilførsel for å generere data av høy kvalitet. Ved å iterativt forbedre støyete innganger kan de generere komplekse, realistiske bilder.

Eksempel: Gaussisk latentrom i VAEs

I VAEs gir encoder ut parametere for en Gaussisk fordeling:

q(z|x)=\mathcal{N}(z;\mu(x),\sigma^2(x))

I stedet for å bruke en deterministisk avbildning, trekker VAEs prøver fra denne fordelingen, noe som introduserer kontrollert tilfeldighet som muliggjør variert generering. Denne teknikken gjør det mulig for VAEs å generere nye ansikter ved å interpolere mellom ulike representasjoner i det latente rommet.

Utvalgsmetoder i generativ KI

Utvalgsteknikker er essensielle for å generere nye datapunkter fra lærte fordelinger:

Monte Carlo-utvalg: brukt i sannsynlighetsmodeller som Bayesiansk inferens for å tilnærme forventningsverdier. Monte Carlo-integrasjon estimerer en forventning som:

\mathbb{E}[f(X)]\approx \frac{1}{N}\sum^N_{i=1}f(X_i)

hvor $X_i$ er trukket fra målfordelingen.

Reparametriseringstriks: i VAEs sikrer gradientflyt gjennom stokastiske noder ved å uttrykke $z$ som:

z=\mu + \sigma \cdot \varepsilon,\ \varepsilon \sim \mathcal{N}(0, 1)

Dette trikset muliggjør effektiv tilbakepropagering gjennom stokastiske lag.

Ancestral Sampling: i autoregressive modeller (f.eks. GPT) genereres prøver sekvensielt basert på betingede sannsynligheter. For eksempel, når tekst genereres, predikerer en modell neste ord gitt de foregående:

p(x_t|x_1, x_2, \ldots,x_{t-1})

Denne sekvensielle prosessen sikrer sammenheng i generert tekst.

Eksempel: Ancestral Sampling i tekstgenerering

Anta at vi trener en generativ modell til å generere engelske setninger. Gitt inputen "The cat", trekker modellen neste ord fra en lært sannsynlighetsfordeling, og produserer utdata som:

"The cat sleeps";
"The cat jumps";
"The cat is hungry".

Hver prediksjon av neste ord avhenger av tidligere genererte ord, og skaper meningsfulle sekvenser.

Praktiske anvendelser i generativ KI

GANs: bruker støyvektorer for å generere høyoppløselige bilder;
VAEs: koder data inn i en sannsynlighetsfordeling for jevn interpolering i latent rom;
Diffusjonsmodeller: bruker stokastisk støyfjerning for å generere bilder iterativt;
Bayesiske generative modeller: modellerer usikkerhet i generative oppgaver.

Konklusjon

Sannsynlighet og tilfeldighet utgjør grunnlaget for Generativ KI, og gjør det mulig for modeller å lære fordelinger, generere varierte utdata og etterligne variasjonene i virkeligheten. De neste kapitlene bygger videre på disse konseptene for å utforske probabilistisk modellering, nevrale nettverk og generative arkitekturer.