Verständnis der Bayesschen Inferenz in der KI

Was ist Bayessche Inferenz?

Bayessche Inferenz ist eine statistische Methode zur Aktualisierung von Wahrscheinlichkeiten auf Basis neuer Evidenz. KI-Systeme nutzen die Bayessche Inferenz, um ihre Vorhersagen zu verfeinern, während sie mehr Daten sammeln.

Stellen Sie sich vor, Sie sagen das Wetter voraus. In Ihrer Stadt ist es normalerweise sonnig, aber Sie sehen dunkle Wolken aufziehen, also passen Sie Ihre Erwartung an und prognostizieren Regen. So funktioniert die Bayessche Inferenz – sie beginnt mit einer anfänglichen Annahme (Prior), bezieht neue Daten ein und aktualisiert die Annahme entsprechend.

wobei:

• $P(H|D)$ ist die posterior probability, die aktualisierte Wahrscheinlichkeit der Hypothese $H$ gegeben die Daten $D$;
• $P(D|H)$ ist die likelihood, die angibt, wie gut die Hypothese $H$ die Daten $D$ erklärt;
• $P(H)$ ist die prior probability, die anfängliche Annahme vor Beobachtung von $D$;
• $P(D)$ ist die marginal likelihood, die als Normalisierungskonstante dient.

Aufgabe: Spam-Erkennung

Problemstellung: Ein KI-Spamfilter verwendet die Bayessche Klassifikation.

• 20% der E-Mails sind Spam (P(Spam) = 0.2);
• 80% der E-Mails sind kein Spam (P(Not Spam) = 0.8);
• 90% der Spam-E-Mails enthalten das Wort „urgent“ (P(Urgent | Spam) = 0.9);
• 10% der regulären E-Mails enthalten das Wort „urgent“ (P(Urgent | Not Spam) = 0.1).

Frage:
Wenn eine E-Mail das Wort "urgent" enthält, wie hoch ist die Wahrscheinlichkeit, dass es sich um Spam handelt (P(Spam | Urgent))?

Markow-Prozesse: Vorhersage der Zukunft

Was ist eine Markow-Kette?

Eine Markow-Kette ist ein mathematisches Modell, bei dem der nächste Zustand nur vom aktuellen Zustand abhängt und nicht von den vorherigen. Sie wird häufig in der KI verwendet, um sequenzielle Daten und Entscheidungsprozesse zu modellieren. Hier sind die wichtigsten Formeln, die in Markow-Prozessen verwendet werden:

1. Formel für Übergangswahrscheinlichkeit
Die Wahrscheinlichkeit, dass sich ein System zum Zeitpunkt $t$ im Zustand $S_j$ befindet, gegeben den vorherigen Zustand $S_i$ zum Zeitpunkt $t-1$:

wobei $T_{ij}$ die Übergangswahrscheinlichkeit vom Zustand $S_i$ zu $S_j$ ist;

2. Aktualisierung der Zustandswahrscheinlichkeit
Die Wahrscheinlichkeitsverteilung über die Zustände zum Zeitpunkt $t$:

wobei:

• $P_t$ die Zustandswahrscheinlichkeit zum Zeitpunkt $t$ ist.
• $P_{t-1}$ die Zustandswahrscheinlichkeit zum Zeitpunkt $t-1$ ist.
• $T$ die Übergangsmatrix ist.

3. Stationäre Wahrscheinlichkeit (Langzeitverhalten)
Für einen lang laufenden Markov-Prozess erfüllt die stationäre Wahrscheinlichkeit $P_s$:

Diese Gleichung wird gelöst, um die Gleichgewichtsverteilung zu finden, bei der sich die Wahrscheinlichkeiten im Zeitverlauf nicht ändern.

Aufgabe: Wettervorhersage

Problemstellung: In einer bestimmten Stadt wechselt das Wetter zwischen sonnigen und regnerischen Tagen. Die Übergangswahrscheinlichkeiten zwischen diesen Zuständen sind durch die folgende Übergangsmatrix gegeben:

Dabei gilt:

• 0,7 ist die Wahrscheinlichkeit, dass nach einem sonnigen Tag wieder ein sonniger Tag folgt;
• 0,3 ist die Wahrscheinlichkeit, dass ein sonniger Tag in einen regnerischen Tag übergeht;
• 0,6 ist die Wahrscheinlichkeit, dass ein regnerischer Tag in einen sonnigen Tag übergeht;
• 0,4 ist die Wahrscheinlichkeit, dass nach einem regnerischen Tag wieder ein regnerischer Tag folgt.

Wenn das Wetter heute sonnig ist, wie groß ist die Wahrscheinlichkeit, dass es in zwei Tagen regnet?

Markow-Entscheidungsprozesse (MDPs): Entscheidungsfindung für KI

MDPs erweitern Markow-Ketten durch die Einführung von Aktionen und Belohnungen, sodass KI optimale Entscheidungen treffen kann, anstatt nur Zustände vorherzusagen.

Beispiel: Ein Roboter im Labyrinth

Ein Roboter, der ein Labyrinth durchquert, lernt, welche Wege zum Ausgang führen, indem er Folgendes berücksichtigt:

• Aktionen: nach links, rechts, oben oder unten bewegen;
• Belohnungen: erfolgreiches Erreichen des Ziels, gegen eine Wand stoßen oder auf ein Hindernis treffen;
• Optimale Strategie: Auswahl von Aktionen, die die Belohnung maximieren.

MDPs werden häufig in Spiel-KI, Robotik und Empfehlungssystemen eingesetzt, um die Entscheidungsfindung zu optimieren.

Versteckte Markow-Modelle (HMMs): Erkennung verborgener Muster

Ein HMM ist ein Markow-Modell, bei dem einige Zustände verborgen sind und die KI diese anhand beobachteter Daten erschließen muss.

Beispiel: Spracherkennung

Wenn Sie mit Siri oder Alexa sprechen, sieht die KI die Wörter nicht direkt. Stattdessen verarbeitet sie Schallwellen und versucht, die wahrscheinlichste Wortfolge zu bestimmen.

HMMs sind unverzichtbar für:

• Sprach- und Texterkennung: KI entschlüsselt gesprochene Sprache und Handschrift;
• Börsenprognosen: KI modelliert verborgene Trends, um Marktschwankungen vorherzusagen;
• Robotik und Spiele: Von KI gesteuerte Agenten erschließen verborgene Zustände aus beobachtbaren Ereignissen.

Fazit

Bayessche Inferenz bietet eine fundierte Methode zur Aktualisierung von Überzeugungen in KI-Modellen, während Markow-Prozesse leistungsstarke Werkzeuge zur Modellierung sequentieller Abhängigkeiten bereitstellen. Diese Prinzipien bilden die Grundlage für zentrale generative KI-Anwendungen, darunter Reinforcement Learning, probabilistische grafische Modelle und strukturierte Sequenzgenerierung.