Sandsynlighedsfordelinger og tilfældighed er centrale elementer i generative modeller, hvilket gør det muligt for AI-systemer at skabe varierede og realistiske output. I stedet for at definere sandsynlighedsteori eksplicit, fokuserer dette kapitel på, hvordan sandsynlighed anvendes i Generativ AI til at modellere usikkerhed, udtage prøver af data og træne generative modeller.

Sandsynlighedsfordelingers rolle i Generativ AI

Generative modeller benytter sandsynlighedsfordelinger til at lære datamønstre og generere nye prøver. Centrale begreber omfatter:

• Latent rum-repræsentation: mange generative modeller (f.eks. VAE'er, GAN'er) kortlægger inputdata til en lavdimensionel sandsynlighedsfordeling. Udtagning fra denne fordeling genererer nye datapunkter;
• Sandsynlighedsvurdering: probabilistiske modeller vurderer sandsynligheden for at observere et datapunkt givet en indlært fordeling, hvilket styrer træningen;
• Udtagning og generering: processen med at udtage tilfældige prøver fra indlærte fordelinger for at skabe nye syntetiske data.

Centrale matematiske begreber:

For en sandsynlighedsfordeling $p(x)$ er sandsynligheden for data $X$ givet modelparametre $\theta$:

Maksimering af denne sandsynlighed hjælper generative modeller med at lære mønstre fra data. I generativ AI antager modeller ofte bestemte former for sandsynlighedsfordelinger—såsom Gaussisk, Bernoulli eller kategorisk—for at repræsentere data. Valget af fordeling påvirker, hvordan modeller lærer og genererer nye eksempler. For eksempel anvendes kategoriske fordelinger i tekstgenerering til at modellere sandsynligheden for hvert muligt ord givet tidligere ord.

Tilfældighed og støj i generative modeller

Støj spiller en afgørende rolle i generativ AI, sikrer diversitet og forbedrer robusthed:

• Latent støj i GANs: I GANs transformeres en støjvektor $z \sim p(x)$ (ofte samplet fra en Gaussisk eller Uniform fordeling) til realistiske eksempler gennem generatoren. Denne tilfældighed sikrer variation i genererede billeder;
• Variationsinference i VAEs: VAEs introducerer Gaussisk støj i latent rum, hvilket muliggør glidende interpolation mellem genererede eksempler. Dette sikrer, at små ændringer i latente variable resulterer i meningsfulde variationer i output;
• Diffusionsmodeller og stokastiske processer: Disse modeller lærer at omvende en gradvis støjtilføjelsesproces for at generere data af høj kvalitet. Ved iterativt at forfine støjfyldte input kan de generere komplekse, realistiske billeder.

Eksempel: Gaussisk latent rum i VAEs

I VAEs udgiver encoder-parametre for en Gaussisk fordeling:

I stedet for at anvende en deterministisk afbildning, udtager VAEs prøver fra denne fordeling, hvilket introducerer kontrolleret tilfældighed, der muliggør mangfoldig generering. Denne teknik gør det muligt for VAEs at generere nye ansigter ved at interpolere mellem forskellige latente rum-repræsentationer.

Udtagningsteknikker i Generativ AI

Udtagningsteknikker er essentielle for at generere nye datapunkter fra indlærte fordelinger:

• Monte Carlo-udtagning: anvendes i probabilistiske modeller som Bayesiansk inferens til at approksimere forventninger. Monte Carlo-integration estimerer en forventning som:

hvor $X_i$ udtages fra målfordelingen.

• Reparametriseringstrick: i VAEs sikrer gradientflow gennem stokastiske noder ved at udtrykke $z$ som:

Dette trick muliggør effektiv backpropagation gennem stokastiske lag.

• Ancestral Sampling: i autoregressive modeller (f.eks. GPT) genereres prøver sekventielt baseret på betingede sandsynligheder. For eksempel, når der genereres tekst, forudsiger en model det næste ord givet de foregående:

Denne sekventielle proces sikrer sammenhæng i genereret tekst.

Eksempel: Ancestral Sampling i tekstgenerering

Antag, at der trænes en generativ model til at generere engelske sætninger. Givet inputtet "The cat", udtager modellen det næste ord fra en indlært sandsynlighedsfordeling og producerer output som:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Hver forudsigelse af næste ord afhænger af tidligere genererede ord, hvilket skaber meningsfulde sekvenser.

Praktiske anvendelser i generativ AI

• GANs: bruger støjvektorer til at generere billeder i høj opløsning;
• VAEs: koder data til en sandsynlighedsfordeling for glat interpolation i latent rum;
• Diffusionsmodeller: anvender stokastisk støjfjerning til iterativ billedgenerering;
• Bayesianske generative modeller: modellerer usikkerhed i generative opgaver.

Konklusion

Sandsynlighed og tilfældighed udgør fundamentet for Generativ AI og gør det muligt for modeller at lære fordelinger, generere varierede output og efterligne variationer fra den virkelige verden. De næste kapitler bygger videre på disse begreber for at udforske sandsynlighedsmodellering, neurale netværk og generative arkitekturer.