Wie Sprachmodelle "Denken"

Man muss nicht wissen, wie ein Automotor funktioniert, um zu fahren – aber zu wissen, dass er mit Treibstoff läuft, hilft dabei, nicht liegenzubleiben. Das Gleiche gilt für KI. Ein Informatikstudium ist nicht nötig, aber das Verständnis eines zentralen Prinzips erleichtert alles Weitere in diesem Kurs.

Vorhersage, das zentrale Prinzip

Große Sprachmodelle (LLMs) – die Technologie hinter ChatGPT, Claude, Gemini und anderen – funktionieren, indem sie vorhersagen, was als Nächstes kommt.

Bei einer Folge von Wörtern berechnet das Modell, welches Wort (oder welche Phrase) am wahrscheinlichsten folgt, basierend auf Mustern, die es aus riesigen Mengen an Text gelernt hat: Bücher, Artikel, Webseiten, Code und mehr.

Das ähnelt der Autovervollständigung auf dem Smartphone – nur wurde das Modell praktisch mit dem gesamten Internet trainiert und ist deutlich ausgefeilter.

Was sind Tokens?

KI liest Wörter nicht so wie du. Sie zerlegt Text in kleine Einheiten, die Tokens genannt werden – diese entsprechen ungefähr Wörtern oder Wortteilen.

Zum Beispiel:

• „running“ könnte ein Token sein;
• „unbelievable“ könnte in „un“ + „believ“ + „able“ aufgeteilt werden;
• Selbst Leerzeichen und Satzzeichen sind Tokens.

Deshalb geht KI manchmal mit ungewöhnlichen Wörtern unbeholfen um oder sehr lange Eingaben verlangsamen den Prozess – jeder Token benötigt Rechenleistung.

Für die praktische Anwendung ist Folgendes wichtig: Je mehr Tokens in deinem Gespräch, desto mehr Kontext hat das Modell – und desto teurer wird der Betrieb (deshalb gibt es bei kostenlosen Plänen Begrenzungen).

Warum KI manchmal Dinge erfindet

Das Modell sagt voraus, was richtig klingt, es produziert nicht immer etwas, das faktisch korrekt ist. Wenn es auf ein Thema außerhalb seiner Trainingsdaten stößt oder eine Frage nicht sicher beantworten kann, sagt es nicht „Ich weiß es nicht“ – es generiert trotzdem eine plausibel klingende Antwort.

Das nennt man eine Halluzination.

Es ist kein Fehler und die KI lügt dich nicht an. Es ist eine grundlegende Eigenschaft der Vorhersage. Dieses Wissen ist der erste Schritt, KI sicher zu nutzen. Wir behandeln das ausführlich in Abschnitt 3.

KI sagt voraus – sie weiß nicht wirklich. Diese eine Erkenntnis erklärt, warum gute Prompts wichtig sind, warum du wichtige Fakten überprüfen solltest und warum menschliches Urteilsvermögen beim Arbeiten mit KI immer notwendig ist.