サポート チャットボットは顧客に、返金には 14 日かかると伝えます。実際のポリシーには 7 とあります。答えは流暢で丁寧でしたが、間違っていました。これは AI の幻覚であり、AI 機能に慎重な設計とテストが必要な主な理由の 1 つです。

このガイドでは、その原因をわかりやすく解説し、実際の予防に焦点を当てています。最後近くの自動チェックは、私たちが自分で書いた回答例に対して実行した小さな Python スクリプトです。ライブ AI モデルに対して実行されたものではありません。

AI幻覚とは何ですか？

幻覚とは、生成 AI システムが事実として間違っているコンテンツ、でっち上げられたコンテンツ、または与えられた情報によって裏付けられていないコンテンツを、真実であるかのように提示することです。この用語は比喩です。モデルは物事を見ていません。事実に縛られることなく、良い回答のパターンに適合するテキストを生成します。

危険なのは自信です。幻覚による答えは、通常、同じトーン、構造、詳細を備えた正しい答えとまったく同じように見えます。

なぜ言語モデルが幻覚を起こすのか

大規模な言語モデルは、膨大な量のトレーニング データのパターンに基づいて、次のテキストであるトークンを予測するようにトレーニングされます。そこからいくつかのことがわかります。

• もっともらしいことと真実は同じではありません。 モデルは、答えがどのようなものになる傾向があるかを学習します。事実が欠如している場合でも、最も可能性が高いと思われる続きが発明される可能性があります。
• ギャップとカットオフ。 トレーニング データにはギャップがあり、特定の日付で終了します。モデルは、知らないと言うのではなく、欠落している事実を補うことができます。
• トレーニングは回答に報酬を与える。 モデルが幻覚を起こす理由に関する 2025 年の OpenAI 論文を含む研究では、一般的なトレーニングおよび評価方法では、不確実性を認めるよりも推測に報酬を与えると主張しています。これは、誤った回答に対するペナルティのない多肢選択式テストと同様です。
• あいまいなプロンプト。 あいまいな質問は、モデルに詳細を想定させます。
• 長い、または乱雑なコンテキスト。 長い入力に埋もれていると、重要な事実が見落とされる可能性があります。

一般的な幻覚の種類

研究者は多くの場合、これらを現実世界と矛盾する 事実 エラーと、モデルに与えられたソース資料と矛盾する 忠実性 エラーに分類します。自分のドキュメントに基づいて構築されたビジネス アプリの場合、通常、忠実度を最も直接テストできるものになります。

でっち上げられたコードには特別な警告が必要です。アシスタントが存在しないパッケージのインストールを提案すると、攻撃者はその名前で悪意のあるパッケージを公開する可能性があります。インストールする前に、提案された依存関係がすべて本物で信頼できるものであることを確認してください。

最も重要な場所

映画の幻覚的な事実は無害です。幻覚剤の投与量、法的引用、返金ポリシー、または財務数値はそうではありません。弁護士がAIツールによって発明された事件引用文を裁判所に提出した事例がよく報告されている。間違った答えのコストによってユースケースをランク付けし、そのコストが高い場合には最も強力な制御を適用します。

幻覚を軽減する方法

1. 信頼できるデータに答えを根拠付けます。 モデルの記憶に頼るのではなく、関連する事実をモデルに与えます。
2. 「わかりません」を許可します。 情報が利用できない場合はモデルに明示的に伝えるようにし、それを良い結果として扱います。
3. 具体的にしてください。 明確で範囲の狭い質問では、工夫の余地が少なくなります。これについては、プロンプト エンジニアリング ガイドで詳しく説明しています。
4. 提供された情報源からの 引用または引用を要求し、それらを自動的に検証します。
5. 固定フィールドを含む JSON などの構造化された出力を使用すると、回答を検証しやすくなります。
6. 計算、日付、ライブデータの検索など、モデルが苦手なものには ツールを使用します。
7. 一か八かの決断を下すために人間に常に最新情報を伝えてください。

独自のデータによるグラウンディング

検索拡張生成 (RAG) が最も一般的な接地パターンです。システムは文書内で質問に関連する文章を検索し、それらの文章をプロンプトに含め、それらの文章からのみ回答するように指示します。それはでっち上げられた事実を大幅に減らしますが、治療法ではありません。モデルは依然として文章を読み間違えたり、文章を間違って組み合わせたり、自身の知識に頼ったりする可能性があり、検索ステップで間違った文書が返される可能性があります。したがって、接地されたシステムには依然としてチェックが必要です。

簡単な自動チェック

これは私たちが構築した安価なガードの 1 つです。ソース テキストに現れない回答内の任意の番号にフラグを立てます。大まかではありますが、価格、日数、制限などの数字は、まさに高価な幻覚が現れる場所です。

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

典型的なモデルの出力を模倣するために書かれた 3 つの回答をテストしました。

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

「幻覚」の回答では、14日間の返金と500ルピー以上の送料無料が謳われており、両方の番号が摘発された。 「部分的に」の回答には配達時間が正確に記載されていましたが、ポリシーでは決して言及されていない「速達で 1 日」が追加されており、これも引っかかりました。 2 番目のチェックでは、引用されたフレーズがソース内に実際に出現するかどうかを確認します。

{'paid within 7 days': True, 'no questions asked': False}

これらのチェックには明らかな制限があります。彼らは間違った単語、単位、数字のない裏付けのない主張を見落とし、正しい計算に誤ってフラグを立ててしまいます。多くのチームは、2 番目のモデルが各主張を情報源と照合してチェックする「裁判官としての LLM」ステップを追加します。その方がより多くのことがわかりますが、間違っている可能性もあるので、測定してください。

幻覚の検査

幻覚率は感情ではなく、測定する品質の指標として扱います。実践的なアプローチ:

• 既知の正解とソースを使用して、実際の質問のテスト セットを作成します。
• 答えがデータにないため、システムが拒否すべき質問を含めてください。
• 回答の正しさ、情報源への忠実さ、および適切な拒否について採点します。
• プロンプト、モデル、または取得設定を変更するたびにセットを実行します。
• 人間によるレビュー用の制作会話のサンプル。

回帰テストの規律はここにも適用されます。固定されたケースのセットが変更ごとに実行され、結果が時間の経過とともに比較されます。システムの接地方法を選択するときは、RAG、微調整、プロンプト エンジニアリングの比較でトレードオフが説明されます。

毎日のユーザーへのアドバイス

• 元の情報源からの事実、数字、引用、引用を確認します。
• 医療、法律、財務情報には特に注意してください。
• ソーステキストを貼り付けて、アシスタントにそこからのみ回答するように依頼します。
• 「あなたはどのくらい自信がありますか?そしてその根拠は何ですか?」と尋ねますが、答えが間違っている可能性もあることを覚えておいてください。

幻覚は解消できるのでしょうか？

現在のテクノロジーでは不可能です。新しいモデルとより優れたトレーニングにより、多くのベンチマークで幻覚発生率が減少し、接地は大いに役立ちますが、それでもどのシステムでも間違いは発生します。現実的な目標は、システム設計、テスト、およびユーザーへの明確なシグナルを通じて、エラーを稀にし、検出しやすく、影響を少なくすることです。

AIコーディングツールの幻覚

開発者はコーディング アシスタントの中で、クラスに存在しないメソッド、時代遅れの構成オプション、実際には別の原因によるエラーについての確信を持った説明など、幻覚に毎日遭遇します。防御策は人間のコードにすでに使用されているものです。結果をコンパイルまたは型チェックし、テストを実行し、これまで使用したことのない API については公式ドキュメントを読みます。認証、暗号化、入力検証など、セキュリティが重要なコードには特に注意してください。一見もっともらしいコードでも、微妙に安全ではない可能性があります。 AI の提案は、迅速ではあるが信頼性の低い同僚からの下書きとして扱います。多くの場合は役立ちますが、自動的に修正されることはありません。

まとめ

幻覚は言語モデルの仕組みに由来します。つまり、言語モデルは確認された事実ではなく、可能性の高いテキストを生成します。これらをオフにすることはできませんが、それらを考慮して設計することはできます。信頼できるデータで答えを根拠付け、モデルに「わかりません」と言わせ、重要な詳細の自動チェックを追加し、結果を継続的に測定します。

よくある質問

学び続ける