Inzicht in Bayesiaanse Inferentie in AI

Wat is Bayesiaanse Inferentie?

Bayesiaanse inferentie is een statistische methode die wordt gebruikt om waarschijnlijkheden bij te werken op basis van nieuw bewijs. AI-systemen gebruiken Bayesiaanse inferentie om hun voorspellingen te verfijnen naarmate ze meer gegevens verzamelen.

Stel je voor dat je het weer voorspelt. Als het meestal zonnig is in jouw stad, maar je ziet donkere wolken verschijnen, pas je je verwachting aan en voorspel je regen. Dit is hoe Bayesiaanse inferentie werkt—beginnen met een initiële aanname (prior), nieuwe gegevens verwerken en de aanname dienovereenkomstig bijwerken.

waarbij:

• $P(H|D)$ is de posterior probability, de bijgewerkte waarschijnlijkheid van hypothese $H$ gegeven data $D$;
• $P(D|H)$ is de likelihood, die aangeeft hoe goed hypothese $H$ de data $D$ verklaart;
• $P(H)$ is de prior probability, de initiële aanname vóór het observeren van $D$;
• $P(D)$ is de marginal likelihood, die fungeert als een normalisatieconstante.

Probleemstelling: Een AI-spamfilter gebruikt Bayesiaanse classificatie.

• 20% van de e-mails is spam (P(Spam) = 0.2);
• 80% van de e-mails is geen spam (P(Niet Spam) = 0.8);
• 90% van de spamberichten bevat het woord “urgent” (P(Urgent | Spam) = 0.9);
• 10% van de reguliere e-mails bevat het woord “urgent” (P(Urgent | Niet Spam) = 0.1).

Vraag:
Als een e-mail het woord "urgent" bevat, wat is de kans dat het spam is (P(Spam | Urgent))?

Markov-processen: De toekomst voorspellen

Wat is een Markov-keten?

Een Markov-keten is een wiskundig model waarbij de volgende toestand alleen afhangt van de huidige toestand en niet van de voorgaande. Het wordt veel gebruikt in AI om sequentiële data en besluitvormingsprocessen te modelleren. Hier zijn de belangrijkste formules die in Markov-processen worden gebruikt:

1. Overgangskansformule
De kans dat een systeem zich in toestand $S_j$ bevindt op tijdstip $t$, gegeven de vorige toestand $S_i$ op tijdstip $t-1$:

waarbij $T_{ij}$ de overgangskans is van toestand $S_i$ naar $S_j$;

2. Update van toestandskans
De kansverdeling over toestanden op tijdstip $t$:

waarbij:

• $P_t$ de toestandskans is op tijdstip $t$.
• $P_{t-1}$ de toestandskans is op tijdstip $t-1$.
• $T$ de overgangsmatrix is.

3. Stationaire Kans (Langetermijngedrag)
Voor een langdurig Markov-proces voldoet de stationaire kans $P_s$ aan:

Deze vergelijking wordt opgelost om de evenwichtsverdeling te vinden waarbij de kansen in de tijd niet veranderen.

Probleemstelling: In een bepaalde stad wisselt het weer tussen Zonnige en Regenachtige dagen. De kans op overgang tussen deze toestanden wordt gegeven door de volgende overgangsmatrix:

Waarbij:

• 0.7 de kans is dat na een Zonnige dag opnieuw een Zonnige dag volgt;
• 0.3 de kans is dat een Zonnige dag Regenachtig wordt;
• 0.6 de kans is dat een Regenachtige dag Zonnig wordt;
• 0.4 de kans is dat na een Regenachtige dag opnieuw een Regenachtige dag volgt.

Als het vandaag Zonnig is, wat is de kans dat het over twee dagen Regenachtig is?

Markov-beslissingsprocessen (MDP's): AI leren beslissingen nemen

MDP's breiden Markov-ketens uit door acties en beloningen te introduceren, waardoor AI optimale beslissingen kan nemen in plaats van alleen toestanden te voorspellen.

Voorbeeld: Een robot in een doolhof

Een robot die door een doolhof navigeert, leert welke paden naar de uitgang leiden door rekening te houden met:

• Acties: naar links, rechts, boven of beneden bewegen;
• Beloningen: het doel bereiken, tegen een muur botsen of een obstakel tegenkomen;
• Optimale strategie: acties kiezen die de beloning maximaliseren.

MDP's worden veel gebruikt in game-AI, robotica en aanbevelingssystemen om besluitvorming te optimaliseren.

Verborgen Markov-modellen (HMM's): Ongeziene patronen begrijpen

Een HMM is een Markov-model waarbij sommige toestanden verborgen zijn en AI deze moet afleiden op basis van waargenomen gegevens.

Voorbeeld: Spraakherkenning

Wanneer je tegen Siri of Alexa spreekt, ziet AI de woorden niet direct. In plaats daarvan verwerkt het geluidsgolven en probeert het de meest waarschijnlijke reeks woorden te bepalen.

HMM's zijn essentieel in:

• Spraak- en tekstherkenning: AI ontcijfert gesproken taal en handschrift;
• Voorspellingen van de aandelenmarkt: AI modelleert verborgen trends om marktfluctuaties te voorspellen;
• Robotica en gaming: door AI aangestuurde agenten leiden verborgen toestanden af uit waarneembare gebeurtenissen.

Conclusie

Bayesiaanse inferentie biedt een rigoureuze methode om overtuigingen in AI-modellen bij te werken, terwijl Markov-processen krachtige hulpmiddelen zijn voor het modelleren van sequentiële afhankelijkheden. Deze principes vormen de basis van belangrijke generatieve AI-toepassingen, waaronder reinforcement learning, probabilistische grafische modellen en gestructureerde sequentiegeneratie.