Verständnis der Bayesschen Inferenz in der KI

Was ist Bayessche Inferenz?

Die Bayessche Inferenz ist eine statistische Methode zur Aktualisierung von Wahrscheinlichkeiten auf Basis neuer Evidenz. KI-Systeme nutzen die Bayessche Inferenz, um ihre Vorhersagen zu verfeinern, sobald sie mehr Daten sammeln.

Stellen Sie sich vor, Sie sagen das Wetter voraus. In Ihrer Stadt ist es normalerweise sonnig, aber Sie sehen dunkle Wolken aufziehen, daher passen Sie Ihre Erwartung an und prognostizieren Regen. So funktioniert die Bayessche Inferenz – sie beginnt mit einer anfänglichen Annahme (Prior), bezieht neue Daten ein und aktualisiert die Annahme entsprechend.

wobei:

• $P(H|D)$ die posterior probability ist, die aktualisierte Wahrscheinlichkeit der Hypothese $H$ gegeben den Daten $D$;
• $P(D|H)$ die likelihood ist, die angibt, wie gut die Hypothese $H$ die Daten $D$ erklärt;
• $P(H)$ die prior probability ist, die anfängliche Annahme vor Beobachtung von $D$;
• $P(D)$ die marginal likelihood ist, die als Normalisierungskonstante dient.

Problemstellung: Ein KI-Spamfilter verwendet die Bayessche Klassifikation.

• 20% der E-Mails sind Spam (P(Spam) = 0.2);
• 80% der E-Mails sind kein Spam (P(Nicht Spam) = 0.8);
• 90% der Spam-E-Mails enthalten das Wort „urgent“ (P(Urgent | Spam) = 0.9);
• 10% der regulären E-Mails enthalten das Wort „urgent“ (P(Urgent | Nicht Spam) = 0.1).

Frage:
Wenn eine E-Mail das Wort "urgent" enthält, wie hoch ist die Wahrscheinlichkeit, dass es sich um Spam handelt (P(Spam | Urgent))?

Markow-Prozesse: Vorhersage der Zukunft

Was ist eine Markow-Kette?

Eine Markow-Kette ist ein mathematisches Modell, bei dem der nächste Zustand nur vom aktuellen Zustand abhängt und nicht von den vorherigen. Sie wird in der KI häufig verwendet, um sequenzielle Daten und Entscheidungsprozesse zu modellieren. Hier sind die wichtigsten Formeln, die in Markow-Prozessen verwendet werden:

1. Übergangswahrscheinlichkeitsformel
Die Wahrscheinlichkeit, dass sich ein System zum Zeitpunkt $t$ im Zustand $S_j$ befindet, gegeben den vorherigen Zustand $S_i$ zum Zeitpunkt $t-1$:

wobei $T_{ij}$ die Übergangswahrscheinlichkeit vom Zustand $S_i$ zu $S_j$ ist;

2. Zustandswahrscheinlichkeits-Update
Die Wahrscheinlichkeitsverteilung über die Zustände zum Zeitpunkt $t$:

wobei:

• $P_t$ die Zustandswahrscheinlichkeit zum Zeitpunkt $t$ ist.
• $P_{t-1}$ die Zustandswahrscheinlichkeit zum Zeitpunkt $t-1$ ist.
• $T$ die Übergangsmatrix ist.

3. Stationäre Wahrscheinlichkeit (Langzeitverhalten)
Für einen lang andauernden Markov-Prozess erfüllt die stationäre Wahrscheinlichkeit $P_s$ die folgende Gleichung:

Diese Gleichung wird gelöst, um die Gleichgewichtsverteilung zu finden, bei der sich die Wahrscheinlichkeiten im Zeitverlauf nicht mehr ändern.

Problemstellung: In einer bestimmten Stadt wechselt das Wetter zwischen sonnigen und regnerischen Tagen. Die Übergangswahrscheinlichkeiten zwischen diesen Zuständen sind durch die folgende Übergangsmatrix gegeben:

Dabei gilt:

• 0.7 ist die Wahrscheinlichkeit, dass auf einen sonnigen Tag erneut ein sonniger Tag folgt;
• 0.3 ist die Wahrscheinlichkeit, dass ein sonniger Tag in einen regnerischen Tag übergeht;
• 0.6 ist die Wahrscheinlichkeit, dass ein regnerischer Tag in einen sonnigen Tag übergeht;
• 0.4 ist die Wahrscheinlichkeit, dass auf einen regnerischen Tag erneut ein regnerischer Tag folgt.

Wenn das heutige Wetter sonnig ist, wie groß ist die Wahrscheinlichkeit, dass es in zwei Tagen regnerisch ist?

Markow-Entscheidungsprozesse (MDPs): KI das Treffen von Entscheidungen beibringen

MDPs erweitern Markow-Ketten durch die Einführung von Aktionen und Belohnungen, wodurch KI optimale Entscheidungen treffen kann, anstatt nur Zustände vorherzusagen.

Beispiel: Ein Roboter in einem Labyrinth

Ein Roboter, der ein Labyrinth durchquert, lernt, welche Wege zum Ausgang führen, indem er Folgendes berücksichtigt:

• Aktionen: nach links, rechts, oben oder unten bewegen;
• Belohnungen: erfolgreiches Erreichen des Ziels, gegen eine Wand stoßen oder auf ein Hindernis treffen;
• Optimale Strategie: Auswahl von Aktionen, die die Belohnung maximieren.

MDPs werden häufig in Spiel-KI, Robotik und Empfehlungssystemen eingesetzt, um Entscheidungsfindung zu optimieren.

Versteckte Markow-Modelle (HMMs): Verborgene Muster erkennen

Ein HMM ist ein Markow-Modell, bei dem einige Zustände verborgen sind und die KI diese anhand beobachteter Daten erschließen muss.

Beispiel: Spracherkennung

Wenn Sie mit Siri oder Alexa sprechen, sieht die KI die Wörter nicht direkt. Stattdessen verarbeitet sie Schallwellen und versucht, die wahrscheinlichste Wortfolge zu bestimmen.

HMMs sind unerlässlich für:

• Sprach- und Texterkennung: KI entschlüsselt gesprochene Sprache und Handschrift;
• Aktienmarktprognosen: KI modelliert verborgene Trends, um Marktschwankungen vorherzusagen;
• Robotik und Spiele: KI-gesteuerte Agenten erschließen verborgene Zustände aus beobachtbaren Ereignissen.

Fazit

Bayessche Inferenz bietet eine präzise Methode zur Aktualisierung von Überzeugungen in KI-Modellen, während Markow-Prozesse leistungsstarke Werkzeuge zur Modellierung sequentieller Abhängigkeiten bereitstellen. Diese Prinzipien bilden die Grundlage wichtiger generativer KI-Anwendungen, einschließlich Verstärkungslernen, probabilistischer grafischer Modelle und strukturierter Sequenzgenerierung.