AIが応答を生成する仕組み

より良いプロンプトを書くためには、送信ボタンを押した後に何が起こるかについての基本的なメンタルモデルを持つことが役立ちます。言語モデルの背後にある数学を理解する必要はありませんが、プロセスを概念的に理解することで、プロンプトがどのように機能するのか、そしてなぜ結果が予測できない形で変化することがあるのかが説明できます。

入力から出力まで：実際に何が起こるのか

プロンプトを送信すると、モデルはデータベースから答えを検索するわけではありません。あらかじめ用意された応答を取得することもありません。モデルは生成します。すなわち、入力されたすべての情報をもとに、次に来るべきものをトークンごとに予測しながら応答を作り出します。

プロセスのおおまかな流れは次の通りです：

1. プロンプトがトークン（おおよそ単語や単語の一部などの小さなテキスト単位）に分割される；
2. モデルはこれらのトークンを数十億の学習済みパラメータで処理し、意味や意図の表現を構築する；
3. その後、出力を1トークンずつ生成し、新しいトークンはそれまでのすべての内容に影響される；
4. モデルが自然な終了点に到達するか、出力制限に達するまでこれが続く。

結果は取得されるのではなく、構築されます。トレーニング中に学習したパターンに基づき、単語ごとに作り上げられます。

同じプロンプトで異なる回答が得られる理由

まったく同じプロンプトを2回送信しても、異なる回答が返ってくることがあります。これはバグではなく、**temperature（温度）**と呼ばれるパラメータによるものです。このパラメータは、トークン選択プロセスにどれだけランダム性を導入するかを制御します。

• 低い温度 — モデルは常に最も確率の高い次のトークンを選択します。出力は予測しやすく、繰り返しが多くなります。
• 高い温度 — モデルは時々、確率の低いトークンを選択します。出力は多様で創造的になりますが、一貫性は低くなります。

多くのAIツールでは温度が自動的に設定されており、ユーザーがこの設定を変更できない場合がほとんどです。実際に重要なのは、バリエーションが発生するのは当然であり、普通のことだと理解しておくことです。特に創造的または自由度の高いタスクではこの傾向が強くなります。

一貫性が求められるタスク（標準的な要約、構造化されたレポート、テンプレート化されたコミュニケーションなど）では、プロンプト内でフォーマットや期待する出力についてより明確に指示することが重要です。

モデルがアクセスできないもの

モデルがどのように生成するかを理解するのと同じくらい、モデルが何にアクセスできないかを理解することも重要です。

• デフォルトではインターネットにアクセスできません — ツールがウェブ検索機能を提供していない限り利用できません。
• 知識のカットオフ日があります — トレーニング後の出来事は、プロンプトで情報を与えない限りモデルは知りません。
• セッション間の記憶がありません — 新しい会話は毎回ゼロから始まります。
• ファイル、画面、システムを見ることはできません — プロンプトに内容を貼り付けない限り認識できません。

これらの制限は、プロンプトでモデルが本来持っていない情報を提供することで補うことができます。これこそがプロンプトにおけるコンテキストの役割です。