ステップ1：テキストが数字に変換される

コンピューターは単語を読むことができず、計算しかできません。そのため、最初にあなたのメッセージはトークンと呼ばれる単位に分割され、それぞれのトークンが数字に変換されます。

トークンは英語テキスト約4文字分に相当します。単語全体、単語の一部、または句読点の場合もあります。スペースや大文字・小文字も重要で、トークンが変わります。

Claudeが実際に見るもの

あなたが次のように書くと：

Hello, marketing manager!

Claudeは次のように受け取ります：

["Hello", ",", " marketing", " manager", "!"]

これが次のように変換されます：

[9906, 11, 8661, 6783, 0]

5つのトークン。5つの数字。これが入力です。

目安： 750語は約1,000トークンに相当します。トークン数が多いほどコストが高くなり、応答も遅くなります。

ステップ2：次のトークンの予測

すべてが数値に変換された後、モデルが行うことはただ一つ：次に何が来るかを予測することです。これを何度も繰り返します。

あなたが書きます：

The capital of France is

モデルは、どのトークンが最も続く可能性が高いかを考えます：

"Paris" — 92%;

" Paris" — 5%;

"Lyon" — 1%;

"the" — 0.5%。

最も確率の高いものを選びます。そして繰り返します。停止するまで続けます。

重要: モデルがParisを選んだのは答えを知っているからではありません。学習データでこのフレーズの後にはほとんど常に"Paris"が続いていたからです。

AI = パターン予測、知識ではない。

ステップ3：パターンはどこから来るのか

モデルは公開インターネットのテキスト、書籍、コードなどで、特定のカットオフ日までのデータで学習されました。

学習とは、どのトークンがどの文脈でどのように続くかの確率を調整することです。

2つの結果：

モデルは最近の出来事、あなたの会社のデータ、カットオフ以降の情報を知りません；
インターネットから学習したため、その誤りも含まれます。もし学習データの一部が誤っていれば、モデルはその誤りを自信を持って繰り返すことがあります。

なぜAIは幻覚を起こすのか

**幻覚（ハルシネーション）**とは、モデルが自信を持って現実的に見える内容を生成するが、実際には誤っている場合を指します。

よくある例：偽の引用、架空のURL、誤った統計情報。

これは、モデルの目標が最も確率の高いトークン列を生成することであり、最も真実なものを生成することではないために起こります。正しそうに聞こえれば、たとえそれが誤りでも生成されることがあります。

解決策

解決方法は、単にモデルを賢くすることではありません。モデルにツール——ウェブ検索、実データ、ドキュメント——を与えることで、パターンだけでなく事実に基づいて判断できるようにします。

これは前の章で見た通りであり、今後も引き続き使用していきます。

すべて明確でしたか？

フィードバックありがとうございます！

セクション 1. 章 2

AIに質問する

何でも質問するか、提案された質問の1つを試してチャットを始めてください

LLMの実際の仕組み

Claudeと会話しましたね。では、数式を使わずに、その仕組みを見てみましょう。