Kansverdelingen en Willekeur in AI

Kansverdelingen en willekeur vormen de kern van generatieve modellen en stellen AI-systemen in staat om diverse en realistische uitkomsten te creëren. In plaats van de kansrekening expliciet te definiëren, richt dit hoofdstuk zich op het gebruik van waarschijnlijkheid in Generatieve AI voor het modelleren van onzekerheid, het genereren van steekproeven en het trainen van generatieve modellen.

Rol van kansverdelingen in Generatieve AI

Generatieve modellen maken gebruik van kansverdelingen om patronen in data te leren en nieuwe voorbeelden te genereren. De belangrijkste concepten zijn:

• Latente ruimtereprensentatie: veel generatieve modellen (zoals VAE's, GAN's) brengen invoergegevens onder in een lager-dimensionale kansverdeling. Door te sampelen uit deze verdeling worden nieuwe datapunten gegenereerd;
• Waarschijnlijkheidsschatting: probabilistische modellen schatten de waarschijnlijkheid van het waarnemen van een datapunt gegeven een geleerde verdeling, wat de training aanstuurt;
• Sampling en generatie: het proces van willekeurige monsters trekken uit geleerde verdelingen om nieuwe synthetische data te creëren.

Belangrijke wiskundige concepten:

Voor een kansverdeling $p(x)$ is de waarschijnlijkheid van data $X$ gegeven modelparameters $\theta$:

Het maximaliseren van deze waarschijnlijkheid helpt generatieve modellen patronen uit data te leren. In generatieve AI nemen modellen vaak specifieke vormen van kansverdelingen aan—zoals Gaussisch, Bernoulli of categorisch—om data te representeren. De keuze van verdeling beïnvloedt hoe modellen leren en nieuwe voorbeelden genereren. Bijvoorbeeld, bij tekstgeneratie worden categorische verdelingen gebruikt om de kans van elk mogelijk woord te modelleren gegeven voorgaande woorden.

Willekeur en ruis in generatieve modellen

Ruis speelt een cruciale rol in Generatieve AI, zorgt voor diversiteit en verbetert de robuustheid:

• Latente ruis in GANs: in GANs wordt een ruisvector $z \sim p(x)$ (vaak genomen uit een Gaussische of uniforme verdeling) omgezet in realistische samples via de generator. Deze willekeur zorgt voor variatie in gegenereerde afbeeldingen;
• Variationele inferentie in VAEs: VAEs voegen Gaussische ruis toe in de latente ruimte, waardoor soepele interpolatie tussen gegenereerde samples mogelijk is. Dit zorgt ervoor dat kleine veranderingen in latente variabelen leiden tot betekenisvolle variaties in de output;
• Diffusiemodellen en stochastische processen: deze modellen leren een geleidelijk ruisproces om te keren om hoogwaardige data te genereren. Door iteratief het ruisniveau te verfijnen, kunnen ze complexe, realistische afbeeldingen genereren.

Voorbeeld: Gaussiaanse latente ruimte in VAEs

In VAEs geeft de encoder parameters voor een Gaussische verdeling:

In plaats van een deterministische mapping te gebruiken, nemen VAEs samples uit deze verdeling, waardoor gecontroleerde willekeur wordt geïntroduceerd die diverse generaties mogelijk maakt. Deze techniek stelt VAEs in staat nieuwe gezichten te genereren door te interpoleren tussen verschillende latente ruimtereprensentaties.

Samplingmethoden in Generatieve AI

Samplingtechnieken zijn essentieel voor het genereren van nieuwe datapunten uit geleerde verdelingen:

• Monte Carlo-sampling: gebruikt in probabilistische modellen zoals Bayesiaanse inferentie om verwachtingen te benaderen. Monte Carlo-integratie schat een verwachting als:

waarbij $X_i$ gesampled zijn uit de doelverdeling.

• Reparameterisatietruc: in VAE's zorgt voor gradiëntdoorstroming door stochastische knooppunten door $z$ uit te drukken als:

Deze truc maakt efficiënte backpropagatie door stochastische lagen mogelijk.

• Ancestrale sampling: in autoregressieve modellen (bijv. GPT) worden samples sequentieel gegenereerd op basis van conditionele waarschijnlijkheden. Bijvoorbeeld, bij het genereren van tekst voorspelt een model het volgende woord gegeven de voorgaande woorden:

Dit sequentiële proces zorgt voor samenhang in gegenereerde tekst.

Voorbeeld: Ancestrale sampling bij tekstgeneratie

Stel dat we een generatief model trainen om Engelse zinnen te genereren. Gegeven de invoer "The cat", sampelt het model het volgende woord uit een geleerde waarschijnlijkheidsverdeling, wat resultaten oplevert zoals:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Elke voorspelling van het volgende woord is afhankelijk van eerder gegenereerde woorden, waardoor betekenisvolle reeksen ontstaan.

Praktische toepassingen in Generatieve AI

• GANs: gebruiken ruisvectoren om afbeeldingen met hoge resolutie te genereren;
• VAEs: coderen gegevens in een kansverdeling voor vloeiende interpolatie in de latente ruimte;
• Diffusiemodellen: gebruiken stochastische ruisverwijdering om iteratief afbeeldingen te genereren;
• Bayesiaanse generatieve modellen: modelleren onzekerheid bij generatieve taken.

Conclusie

Kansrekening en willekeur vormen de basis van Generatieve AI, waardoor modellen verdelingen kunnen leren, diverse uitkomsten kunnen genereren en variabiliteit uit de echte wereld kunnen benaderen. De volgende hoofdstukken bouwen voort op deze concepten om probabilistische modellering, neurale netwerken en generatieve architecturen te verkennen.