支持聊天机器人告诉客户退款需要 14 天。真正的政策是7。答案很流利，有礼貌，但错误。这是一种人工智能幻觉，也是人工智能功能需要仔细设计和测试的主要原因之一。

本指南深入浅出地解释了原因，并重点介绍了实际预防措施。接近尾声的自动检查是我们根据自己编写的示例答案运行的一个小型 Python 脚本。它不是针对实时人工智能模型运行的。

什么是AI幻觉？

幻觉是指生成式人工智能系统生成的内容实际上是错误的、编造的或与所提供的信息不支持的内容，但却将其呈现为真实的内容。该术语是一个隐喻。模型看不到东西。它生成的文本符合良好答案的模式，但与事实无关。

危险的部分是信心。幻觉答案通常看起来与正确答案一模一样，具有相同的语气、结构和细节。

为什么语言模型会产生幻觉

大型语言模型经过训练，可以根据大量训练数据中的模式来预测下一段文本（即标记）。由此可以得出以下几点结论：

• 合理与真实不同。模型会学习答案的样子。当缺乏事实时，仍然可以发明最有可能的延续。
• 间隙和中断。 训练数据存在间隙并在特定日期结束。该模型可能会填补缺失的事实，而不是说它不知道。
• 训练奖励回答。 研究（包括 2025 年 OpenAI 关于模型为何产生幻觉的论文）认为，常见的训练和评估方法会奖励猜测，而不是承认不确定性，就像多项选择测试一样，错误答案不会受到惩罚。
• 模棱两可的提示。 模棱两可的问题会促使模型假设细节。
• 长或混乱的上下文。 当埋藏在长输入中时，重要的事实可能会被忽视。

常见的幻觉类型

研究人员经常将这些错误分为事实性错误和忠实性错误，前者与现实世界相矛盾，后者与模型所提供的源材料相矛盾。对于基于您自己的文档构建的商业应用程序，忠实度通常是您可以最直接测试的。

编造的代码值得特别警告。如果助手建议安装不存在的软件包，攻击者就可以以该名称发布恶意软件包。在安装之前检查每个建议的依赖项是否真实且可信。

最重要的地方

幻觉的电影事实是无害的。幻觉的药物剂量、法律引用、退款政策或财务数字都不是。律师提交法庭文件并附有人工智能工具发明的案例引文的案例已有不少报道。根据错误答案的成本对用例进行排名，并在成本较高的地方应用最强的控制。

如何减少幻觉

1. 将答案建立在可信数据中。 为模型提供相关事实，而不是依赖其记忆。
2. 允许“我不知道”。明确告诉模型何时信息不可用，并将其视为一个好的结果。
3. 具体。 清晰、狭窄的问题留给发明的空间较小。我们的提示工程指南对此进行了详细介绍。
4. 从提供的来源索要引文或引文，然后自动验证它们。
5. 使用结构化输出，例如具有固定字段的 JSON，因此答案更容易验证。
6. 使用工具处理模型的薄弱环节，例如计算、日期和实时数据查找。
7. 让人员了解情况以做出高风险决策。

以您自己的数据为基础

检索增强生成（RAG） 是最常见的基础模式。系统会在您的文档中搜索与问题相关的段落，并将其包含在提示中，并附有仅从这些段落中回答的说明。它大大减少了虚构的事实，但它并不是治愈方法。该模型仍然可能误读段落、错误地组合段落或依靠自己的知识，并且搜索步骤可能会返回错误的文档。因此接地系统仍然需要检查。

简单的自动检查

这是我们构建的一个廉价防护：标记答案中未出现在源文本中的任何数字。虽然很粗糙，但价格、天数和限额等数字正是代价高昂的幻觉出现的地方。

import re

SOURCE = """Refunds are paid within 7 days to the original payment method.
Orders over 1000 rupees ship free. Standard delivery takes 3 to 5 working days."""

def unsupported_numbers(answer, source):
    found = set(re.findall(r"\d+", answer))
    allowed = set(re.findall(r"\d+", source))
    return sorted(found - allowed, key=int)

我们测试了三个为模仿典型模型输出而编写的答案：

grounded     -> no unsupported numbers
hallucinated -> ['14', '500']
partly       -> ['1']

“幻觉”的答案声称14天退款和超过500卢比的免费送货，两个号码都被抓了。 “部分”答案有正确的交货时间，但添加了“或 1 天快递”，该政策从未提及，这也被抓住了。第二次检查验证引用的短语是否确实出现在源代码中：

{'paid within 7 days': True, 'no questions asked': False}

这些检查有明显的局限性。他们会错过错误的词语、单位和没有数字的无支持的主张，并且他们会错误地标记正确的计算。许多团队添加了“LLM 作为法官”步骤，其中第二个模型根据来源检查每个声明。这样可以捕获更多，但也可能是错误的，所以要衡量一下。

测试幻觉

将幻觉率视为衡量的质量指标，而不是感觉。实用的方法：

• 使用已知的正确答案和来源构建真实问题的测试集。
• 包括系统应该拒绝的问题，因为答案不在数据中。
• 对答案的正确性、对来源的忠实度以及适当的拒绝进行评分。
• 每次对提示、模型或检索设置进行更改时运行该集。
• 供人工审核的生产对话示例。

回归测试的原则也适用于此：一组固定的案例，针对每次更改运行，并随时间比较结果。在选择如何接地系统时，我们对 RAG 与微调与提示工程 的比较解释了权衡。

给日常用户的建议

• 验证原始来源的事实、数据、引述和引文。
• 特别注意医疗、法律和财务信息。
• 粘贴源文本并要求助手仅从中回答。
• 问“你有多自信，这是基于什么？”，但请记住答案也可能是错误的。

幻觉可以消除吗？

目前的技术不行。更新的模型和更好的训练降低了许多基准上的幻觉率，并且接地有很大帮助，但每个系统仍然会犯错误。现实的目标是通过系统设计、测试和向用户发出明确的信号，使错误很少发生、易于检测且影响较小。

AI编码工具中的幻觉

开发人员每天都会在编码助手中遇到幻觉：类中不存在的方法，过时的配置选项，或者对确实由其他原因引起的错误的自信解释。这些防御措施是您已经用于人类代码的防御措施。编译或类型检查结果，运行测试，并阅读您以前未使用过的任何 API 的官方文档。要格外小心安全敏感的代码，例如身份验证、加密和输入验证，这些代码看起来看似合理，但实际上可能不安全。将人工智能建议视为快速但不可靠的同事的草稿：通常很有用，但永远不会自动纠正。

最后的话

幻觉来自语言模型的工作方式：它们生成可能的文本，而不是经过检查的事实。你无法关闭它们，但你可以围绕它们进行设计。在可信数据中给出答案，让模型说“我不知道”，添加对重要细节的自动检查，并持续测量结果。

常见问题

继续学习