Kansverdelingen en willekeur vormen de kern van generatieve modellen, waardoor AI-systemen diverse en realistische uitkomsten kunnen creëren. In plaats van de kansrekening expliciet te definiëren, richt dit hoofdstuk zich op het gebruik van waarschijnlijkheid in Generatieve AI om onzekerheid te modelleren, data te bemonsteren en generatieve modellen te trainen.

Rol van kansverdelingen in Generatieve AI

Generatieve modellen vertrouwen op kansverdelingen om patronen in data te leren en nieuwe voorbeelden te genereren. De belangrijkste concepten zijn:

• Latente ruimtereprensentatie: veel generatieve modellen (zoals VAE's, GAN's) brengen invoergegevens onder in een lager-dimensionale kansverdeling. Door te bemonsteren uit deze verdeling worden nieuwe datapunten gegenereerd;
• Waarschijnlijkheidsschatting: probabilistische modellen schatten de waarschijnlijkheid van het waarnemen van een datapunt gegeven een geleerde verdeling, wat de training aanstuurt;
• Bemonstering en generatie: het proces van willekeurig trekken van voorbeelden uit geleerde verdelingen om nieuwe synthetische data te creëren.

Belangrijke Wiskundige Concepten:

Voor een kansverdeling $p(x)$ is de waarschijnlijkheid van data $X$ gegeven modelparameters $\theta$:

Het maximaliseren van deze waarschijnlijkheid helpt generatieve modellen patronen uit data te leren. In generatieve AI nemen modellen vaak specifieke vormen van kansverdelingen aan—zoals Gaussisch, Bernoulli of categorisch—om data te representeren. De keuze van verdeling beïnvloedt hoe modellen leren en nieuwe voorbeelden genereren. Bijvoorbeeld, bij tekstgeneratie worden categorische verdelingen gebruikt om de kans van elk mogelijk woord gegeven voorgaande woorden te modelleren.

Willekeur en Ruis in Generatieve Modellen

Ruis speelt een cruciale rol in Generatieve AI, zorgt voor diversiteit en verbetert robuustheid:

• Latente ruis in GANs: in GANs wordt een ruisvector $z \sim p(x)$ (vaak getrokken uit een Gaussische of uniforme verdeling) omgezet in realistische voorbeelden via de generator. Deze willekeur zorgt voor variatie in gegenereerde afbeeldingen;
• Variationale inferentie in VAEs: VAEs introduceren Gaussische ruis in de latente ruimte, waardoor vloeiende interpolatie tussen gegenereerde voorbeelden mogelijk is. Dit zorgt ervoor dat kleine veranderingen in latente variabelen leiden tot betekenisvolle variaties in uitkomsten;
• Diffusiemodellen en stochastische processen: Deze modellen leren een geleidelijk ruis-toevoegingsproces om te keren om hoogwaardige data te genereren. Door iteratief ruis in invoer te verfijnen, kunnen ze complexe, realistische afbeeldingen genereren.

Voorbeeld: Gaussiaanse Latente Ruimte in VAEs

In VAEs geeft de encoder parameters voor een Gaussische verdeling:

In plaats van een deterministische mapping te gebruiken, nemen VAEs monsters uit deze distributie, waardoor gecontroleerde willekeur wordt geïntroduceerd die diverse generatie mogelijk maakt. Deze techniek stelt VAEs in staat om nieuwe gezichten te genereren door te interpoleren tussen verschillende representaties in de latente ruimte.

Steekproefmethoden in Generatieve AI

Steekproeftechnieken zijn essentieel voor het genereren van nieuwe datapunten uit geleerde verdelingen:

• Monte Carlo-steekproeven: gebruikt in probabilistische modellen zoals Bayesiaanse inferentie om verwachtingen te benaderen. Monte Carlo-integratie schat een verwachting als:

waarbij $X_i$ worden getrokken uit de doelverdeling.

• Reparameterisatietruc: in VAEs zorgt deze truc voor gradiëntdoorvoer door stochastische knooppunten door $z$ uit te drukken als:

Deze truc maakt efficiënte backpropagatie door stochastische lagen mogelijk.

• Ancestrale sampling: in autoregressieve modellen (bijv. GPT) worden monsters sequentieel gegenereerd op basis van conditionele waarschijnlijkheden. Bijvoorbeeld, bij het genereren van tekst voorspelt een model het volgende woord gegeven de voorgaande woorden:

Dit sequentiële proces waarborgt samenhang in de gegenereerde tekst.

Voorbeeld: Ancestrale sampling bij tekstgeneratie

Stel dat we een generatief model trainen om Engelse zinnen te genereren. Gegeven de invoer "The cat", bemonstert het model het volgende woord uit een geleerde waarschijnlijkheidsverdeling, wat resultaten oplevert zoals:

• "The cat sleeps."
• "The cat jumps."
• "The cat is hungry."

Elke voorspelling van het volgende woord is afhankelijk van eerder gegenereerde woorden, waardoor betekenisvolle reeksen ontstaan.

Praktische toepassingen in generatieve AI

• GANs: gebruiken ruisvectoren om beelden met hoge resolutie te genereren;
• VAEs: coderen gegevens in een waarschijnlijkheidsverdeling voor soepele interpolatie in de latente ruimte;
• Diffusiemodellen: gebruiken stochastische ruisverwijdering om iteratief beelden te genereren;
• Bayesiaanse generatieve modellen: modelleren onzekerheid bij generatieve taken.

Conclusie

Kansrekening en willekeur vormen de basis van Generatieve AI, waardoor modellen distributies kunnen leren, diverse uitkomsten kunnen genereren en de variabiliteit van de echte wereld kunnen benaderen. De volgende hoofdstukken bouwen voort op deze concepten om probabilistische modellering, neurale netwerken en generatieve architecturen te verkennen.