Sannolikhetsfördelningar och Slumpmässighet inom AI

Sannolikhetsfördelningar och slumpmässighet utgör kärnan i generativa modeller och möjliggör för AI-system att skapa varierande och realistiska resultat. Istället för att explicit definiera sannolikhetsteori fokuserar detta kapitel på hur sannolikhet används inom Generativ AI för att modellera osäkerhet, generera data och träna generativa modeller.

Sannolikhetsfördelningars roll inom Generativ AI

Generativa modeller förlitar sig på sannolikhetsfördelningar för att lära sig datamönster och generera nya exempel. Centrala begrepp inkluderar:

• Latent rumsrepresentation: många generativa modeller (t.ex. VAE, GAN) avbildar indata till en sannolikhetsfördelning i lägre dimensioner. Sampling från denna fördelning genererar nya datapunkter;
• Sannolikhetsuppskattning: sannolikhetsmodeller uppskattar sannolikheten att observera en datapunkt givet en inlärd fördelning, vilket styr träningen;
• Sampling och generering: processen att dra slumpmässiga prover från inlärda fördelningar för att skapa ny syntetisk data.

Centrala matematiska begrepp:

För en sannolikhetsfördelning $p(x)$ är sannolikheten för data $X$ givet modellparametrar $\theta$:

Att maximera denna sannolikhet hjälper generativa modeller att lära sig mönster från data. Inom generativ AI antar modeller ofta specifika former av sannolikhetsfördelningar—såsom Gaussisk, Bernoulli eller kategorisk—för att representera data. Valet av fördelning påverkar hur modeller lär sig och genererar nya exempel. Till exempel används kategoriska fördelningar vid textgenerering för att modellera sannolikheten för varje möjligt ord givet tidigare ord.

Slumpmässighet och brus i generativa modeller

Brus har en avgörande roll i Generativ AI, säkerställer mångfald och förbättrar robusthet:

• Latent brus i GANs: i GANs transformeras en brusvektor $z \sim p(x)$ (ofta samplad från en Gaussisk eller Uniform fördelning) till realistiska prover genom generatorn. Denna slumpmässighet säkerställer variation i genererade bilder;
• Variationsinlärning i VAEs: VAEs introducerar Gaussiskt brus i det latenta rummet, vilket möjliggör smidig interpolation mellan genererade prover. Detta säkerställer att små förändringar i latenta variabler resulterar i meningsfulla variationer i utdata;
• Diffusionsmodeller och stokastiska processer: Dessa modeller lär sig att reversera en gradvis brusaddition för att generera högkvalitativ data. Genom att iterativt förfina brusiga indata kan de generera komplexa, realistiska bilder.

Exempel: Gaussiskt latentrum i VAEs

I VAEs ger kodaren ut parametrar för en Gaussisk fördelning:

Istället för att använda en deterministisk avbildning samplar VAEs från denna fördelning, vilket introducerar kontrollerad slumpmässighet som möjliggör mångsidig generering. Denna teknik gör det möjligt för VAEs att generera nya ansikten genom att interpolera mellan olika representationer i det latenta rummet.

Samplingsmetoder i generativ AI

Samplingsmetoder är avgörande för att generera nya datapunkter från inlärda fördelningar:

• Monte Carlo-sampling: används i sannolikhetsmodeller som Bayesiansk inferens för att approximera förväntningar. Monte Carlo-integration uppskattar en förväntan som:

där $X_i$ är samplade från mål-fördelningen.

• Reparameteriseringstricket: i VAE:er säkerställer gradientflöde genom stokastiska noder genom att uttrycka $z$ som:

Detta trick möjliggör effektiv backpropagering genom stokastiska lager.

• Ancestralt sampel: i autoregressiva modeller (t.ex. GPT) genereras sampel sekventiellt baserat på villkorliga sannolikheter. Till exempel, vid textgenerering förutsäger modellen nästa ord givet de föregående:

Denna sekventiella process säkerställer sammanhang i genererad text.

Exempel: Ancestralt sampel vid textgenerering

Antag att vi tränar en generativ modell för att skapa engelska meningar. Givet inmatningen "The cat" samplar modellen nästa ord från en inlärd sannolikhetsfördelning och producerar utdata som:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Varje nästa ord-prediktion beror på tidigare genererade ord, vilket skapar meningsfulla sekvenser.

Praktiska tillämpningar inom generativ AI

• GANs: använder brusvektorer för att generera högupplösta bilder;
• VAEs: kodar data till en sannolikhetsfördelning för smidig interpolation i latentutrymmet;
• Diffusionsmodeller: använder stokastisk brusreducering för att iterativt generera bilder;
• Bayesiska generativa modeller: modellerar osäkerhet i generativa uppgifter.

Slutsats

Sannolikhet och slumpmässighet utgör grunden för generativ AI och möjliggör för modeller att lära sig fördelningar, generera varierade utdata och efterlikna verklighetens variation. De kommande kapitlen bygger vidare på dessa koncept för att utforska sannolikhetsmodellering, neurala nätverk och generativa arkitekturer.