Wie LLMs Tatsächlich Funktionieren
Swipe um das Menü anzuzeigen
Du hast mit Claude gesprochen. Jetzt werfen wir einen Blick unter die Haube – ganz ohne Mathematik.
Schritt 1: Text wird zu Zahlen
Computer können keine Wörter lesen – sie können nur mit Zahlen arbeiten. Bevor irgendetwas passiert, wird deine Nachricht in Stücke namens Tokens aufgeteilt, und jedes Token wird in eine Zahl umgewandelt.
Ein Token entspricht ungefähr 4 Zeichen englischen Texts. Es kann ein ganzes Wort, ein Teil eines Wortes oder ein Satzzeichen sein. Leerzeichen und Groß-/Kleinschreibung sind wichtig – sie verändern das Token.
Was Claude tatsächlich sieht
Wenn du schreibst:
Hello, marketing manager!
Erhält Claude:
["Hello", ",", " marketing", " manager", "!"]
Was zu Folgendem wird:
[9906, 11, 8661, 6783, 0]
Fünf Tokens. Fünf Zahlen. Das ist der Input.
Faustregel: 750 Wörter entsprechen ungefähr 1.000 Tokens. Mehr Tokens bedeuten höhere Kosten und langsamere Antworten.
Schritt 2: Vorhersage des nächsten Tokens
Sobald alles in Zahlen umgewandelt ist, macht das Modell nur eines: vorhersagen, was als Nächstes kommt. Immer und immer wieder.
Du schreibst:
The capital of France is
Das Modell prüft, welches Token am wahrscheinlichsten folgt:
- "Paris" — 92 %;
- " Paris" — 5 %;
- "Lyon" — 1 %;
- "the" — 0,5 %.
Es wählt das wahrscheinlichste aus. Dann wiederholt es den Vorgang. Bis es entscheidet, zu stoppen.
Wichtig: Das Modell hat Paris nicht gewählt, weil es die Antwort kennt. Es hat Paris gewählt, weil in den Trainingsdaten dieser Satz fast immer mit "Paris" fortgesetzt wurde.
KI = Mustererkennung, nicht Wissen.
Schritt 3: Woher Muster kommen
Das Modell wurde mit öffentlichen Internettexten, Büchern und Code trainiert — bis zu einem bestimmten Stichtag.
Training bedeutet, Wahrscheinlichkeiten anzupassen: Welche Tokens folgen auf welche und in welchem Kontext.
Zwei Konsequenzen:
- Das Modell hat kein Wissen über aktuelle Ereignisse, Unternehmensdaten oder irgendetwas nach dem Stichtag;
- Es hat das Internet gelernt — einschließlich seiner Fehler. Wenn ein Teil der Trainingsdaten falsch war, kann das Modell diese Fehler selbstbewusst wiederholen.
Warum KI halluziniert
Eine Halluzination liegt vor, wenn das Modell etwas erzeugt, das überzeugend klingt und realistisch aussieht — aber tatsächlich falsch ist.
Häufige Beispiele: gefälschte Zitate, erfundene URLs, falsche Statistiken.
Das passiert, weil das Ziel des Modells ist, die wahrscheinlichste Abfolge von Tokens zu erzeugen — nicht die wahrste. Wenn etwas richtig klingt, kann es generiert werden, auch wenn es falsch ist.
Die Lösung
Die Lösung besteht nicht nur darin, das Modell intelligenter zu machen. Es erhält Werkzeuge – Websuche, echte Daten, Dokumente – damit es sich auf Fakten statt nur auf Muster verlassen kann.
Genau das hast du im vorherigen Kapitel gesehen und wirst es auch weiterhin nutzen.
Danke für Ihr Feedback!
Fragen Sie AI
Fragen Sie AI
Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen
