言語モデルの「思考」方法

車のエンジンの仕組みを知らなくても運転はできますが、燃料で動くことを知っていればガス欠を防げます。AIにも同じことが言えます。コンピュータサイエンスの学位は不要ですが、このコースの他の内容を理解するために、1つの核心的なアイデアを知っておくと役立ちます。

予測という核心的なアイデア

大規模言語モデル（LLM）— ChatGPT、Claude、Gemini などの技術 — は、次に何が来るかを予測することで動作します。

単語の並びが与えられると、モデルは膨大なテキスト（書籍、記事、ウェブサイト、コードなど）から学習したパターンに基づき、次に続く可能性が最も高い単語（またはフレーズ）を計算します。

これはスマートフォンのオートコンプリート機能に似ていますが、実質的にインターネット全体を学習し、はるかに高度な仕組みとなっています。

トークンとは何か

AIは人間のように単語をそのまま読み取りません。テキストをトークンと呼ばれる小さな単位に分割します。これはおおよそ単語や単語の一部に相当します。

例えば：

• "running" は1つのトークンになる場合があります；
• "unbelievable" は "un" + "believ" + "able" の3つに分割される場合があります；
• スペースや句読点もトークンです。

このため、AIが珍しい単語をうまく扱えなかったり、非常に長い入力で処理が遅くなったりすることがあります。すべてのトークンが処理能力を必要とするためです。

実用上、重要なのは次の点です：会話内のトークン数が多いほど、モデルが持つ文脈も多くなる — そして実行コストも増加します（これが無料プランに制限がある理由です）。

なぜAIは時々事実でないことを作り出すのか

モデルは自然に聞こえるものを予測しており、必ずしも事実に基づいた内容を生成するわけではありません。学習データにない話題や自信を持って答えられない質問に出会うと、「わかりません」とは言わず、もっともらしい応答を生成します。

これをハルシネーションと呼びます。

これはバグでもAIが嘘をついているわけでもありません。予測の仕組みによる根本的な特性です。これを理解することがAIを安全に使う第一歩です。詳細はセクション3で解説します。

AIは予測を行うものであり、真に知っているわけではありません。この1つの洞察が、良いプロンプトが重要である理由、重要な事実を検証すべき理由、そしてAIを使う際に人間の判断が不可欠である理由を説明しています。