ハルシネーション：AIが自信を持って誤った答えを出す理由

AIから有用な結果を得る方法を学びました。次は、それらを信頼すべきでない場合について学びます。

AIツールは流暢で自信に満ちており、迅速です。しかし、まったくもっともらしく聞こえる—そして完全に間違っている—情報を生成することもあります。なぜこのようなことが起こるのかを理解することは、このコースで最も重要な学びの一つです。

ハルシネーションとは何か

実際に見られるハルシネーションの例：

• 弁護士が6件の判例を引用した法的書類を提出。しかし、そのすべてがChatGPTによって創作されたもので、実在しない判例だった；
• AIが生成した製品説明に、もっともらしいが完全に架空の技術仕様が含まれている；
• 研究論文の要約に、元の文書には存在しない統計データが記載されている；
• AIが、指定された法域には存在しない規制や法律を推奨する。

AIは自分が間違っていることを認識していない。嘘をついているわけではない。AIは設計通り、テキストの最も統計的にありそうな続きを生成しているだけであり、その過程で誤った出力が生じる。

なぜこのようなことが起こるのか？

セクション1を思い出してください：AIはパターンに基づいて次のトークンを予測します。 内部のファクトチェッカーはありません。 自分が何を知っていて、何を知らないかの認識もありません。

モデルが確実に答えられない質問に直面した場合でも、生成を止めず、正しい回答のパターンに合う返答を作り出します。その結果、流暢で構造化されているが誤った内容が生まれます。

ハルシネーションが発生しやすい状況：

• 非常に具体的な事実、統計、引用を尋ねた場合；
• モデルの学習データのカットオフ日以降の最近の出来事について尋ねた場合；
• 学習データが限られたニッチなトピックについて尋ねた場合；
• 「空欄を埋める」形式の質問で、創作を誘発する場合。

ハルシネーションではないもの

これについて正確に理解しておく価値があります：

• ハルシネーションはAIが欺瞞的または悪意を持っているわけではありません；
• AIが壊れている、または使い物にならないという兆候ではありません；
• ランダムなエラーではなく、予測可能なパターンに従います；
• 特定のツールだけの現象ではなく、主要なAIシステムすべてで発生します。

これは言語モデルの構造的な特性です。適切な対応はAIを避けることではなく、検証が必要な場面を知ることです。

黄金律：流暢さは正確さではない

AIの出力について最も重要なポイント：

回答は美しく書かれていて、論理的に構成されていても、 完全に間違っていることがあります。

言語の質は情報の質を保証しません。AIは正しいかどうかに関係なく一貫して自信を持って文章を書きます。事実、統計、名前、日付、引用は必ず検証するまで未確認と見なしてください。