向一般的AI助手询问你们公司的退款政策，它只能猜测。它从未见过您的文档。 RAG 是检索增强生成的缩写，通过查找正确的信息并将其与问题一起传递给模型来解决这个问题。

本指南用简单的语言解释了每个阶段，然后仅使用 Python 的标准库构建了一个小型版本。我们在 Python 3.13 上运行该代码，显示的分数来自该运行。它不使用语言模型，因此它演示了检索和提示构建，并且我们没有测试最终的答案步骤。

什么是RAG？

检索增强生成是一种将搜索步骤与语言模型相结合的技术。当出现问题时，系统会搜索知识源，将最佳结果添加到提示中，并要求模型根据该材料进行回答。

想想开卷考试。闭卷学习的学生依赖记忆，可能会自信地记错。开卷的学生可以先查找正确的页面。 RAG 为模型提供那本书，并让它指向它使用的页面。

RAG解决的问题

语言模型本身对业务使用有三个限制：

• 它不知道您的私人数据。 您的保单、票据和合同不是其培训的一部分。
• 它的知识有一个界限。它无法知道您今天早上更改的价格。
• 它可能会发明答案。 当不确定时，它可能会产生一些看似合理但错误的东西。

RAG 可以解决所有三个问题，而且您无需重新训练任何内容。更新文档，重新索引它，下一个答案就可以使用它。

RAG 的工作原理（一步一步）

RAG 系统有两条管道。一个提前准备数据，另一个针对每个问题运行。

索引：准备数据

1. 加载：从 PDF、wiki、数据库或票证中收集内容。
2. 清理和分块：删除垃圾，然后将文档分割成小段落。
3. 嵌入： 将每个段落转换为数字列表（称为嵌入），以捕获其含义。
4. 存储：将嵌入保存在可搜索索引中，通常是向量数据库。

查询：回答问题

1. 检索：嵌入问题并找到含义最接近的段落。
2. 增强：将这些段落插入提示中。
3. 生成：模型使用该上下文编写答案。

检索不必使用向量。它可以是关键字搜索，甚至是 SQL 查询，只要能为您的数据找到正确的信息即可。

一个微小的工作示例

为了清楚地看到运动部件，这是一个没有库的小型猎犬。它将文本表示为字数，这是真实嵌入的更简单的替代品，并且使用余弦度量对相似性进行评分。

import math, re
from collections import Counter

DOCS = {
    "refunds": "Refunds are paid within 7 days to the original payment method.",
    "shipping": "Standard shipping takes 3 to 5 working days across India.",
    "warranty": "All keyboards include a 2 year warranty against defects.",
}

def vectorize(text):
    return Counter(re.findall(r"[a-z0-9]+", text.lower()))

def similarity(a, b):
    dot = sum(a[word] * b[word] for word in a)
    size = math.sqrt(sum(v * v for v in a.values()))
    size *= math.sqrt(sum(v * v for v in b.values()))
    return dot / size if size else 0

def retrieve(question, k=1):
    q = vectorize(question)
    scored = [(similarity(q, vectorize(t)), name) for name, t in DOCS.items()]
    return sorted(scored, reverse=True)[:k]

def build_prompt(question):
    (score, name), = retrieve(question)
    return (
        "Answer using only the context. If it is not there, say you do not know.\n"
        f"Context: {DOCS[name]}\n"
        f"Question: {question}"
    )

询问退款会找到正确的段落并构建此提示：

print(retrieve("How many days until refunds are paid?"))
# [(0.4558..., 'refunds')]

print(build_prompt("How many days until refunds are paid?"))
# Answer using only the context. If it is not there, say you do not know.
# Context: Refunds are paid within 7 days to the original payment method.
# Question: How many days until refunds are paid?

在完整的系统中，您现在可以将该提示发送到语言模型。重要的细节是当答案缺失时承认的指示，您可以在我们的提示工程指南中了解更多信息。

我们的例子遗漏了什么

现在尝试一个含义相同但使用不同词语的问题：

print(retrieve("When can I get my money back?", k=3))
# [(0.0, 'warranty'), (0.0, 'shipping'), (0.0, 'refunds')]

每个分数都是零，因为该问题与任何文档都不共享任何单词。 “退款”意味着退款给人工，但字数无法说明。这个单一输出解释了为什么真实系统使用嵌入，嵌入的设计目的是使具有相似含义的文本最终得到相似的数字，即使没有共同的单词。

但不要认为嵌入可以解决所有问题。他们可能会难以理解产品代码和错误号等精确术语，而关键字搜索可以很好地处理这些术语。这就是为什么许多生产系统使用混合搜索，将两种方法结合起来。

分块：人们低估的步骤

文档被分成多个块，因为整个文件太长并且检索不精确。您选择的尺寸涉及真正的权衡：

块之间有一些重叠的几百个单词是一个常见的起点，但将其视为要测试的第一个猜测。如果可以的话，沿着自然边界（例如标题）进行拆分。并附加元数据，例如文档标题、日期和部门，以便您可以过滤结果并引用来源。

改进检索

当答案很差时，这些是最值得尝试的升级，大致按以下顺序：

• 清理数据。首先删除过时和重复的文档。没有算法可以修复相互矛盾的来源。
• 使用混合搜索。 结合基于含义的结果和关键字结果。
• 添加重新排序器。 获取更多候选者，然后使用专门的模型按相关性对它们重新排序。
• 按元数据过滤。在搜索前按产品、地区或日期限制结果。
• 重写查询。 提出一个模糊的后续问题，例如“第二个怎么样？”变成一个完整的问题。

RAG 与微调

它们并不相互排斥。我们对 RAG 与微调与提示工程 的比较涵盖了如何更深入地选择。

如何测试 RAG 系统

RAG 是软件，它像任何其他软件一样需要测试。创建一组真实问题以及您期望的段落和答案，然后分别测量两个阶段：

还包括尴尬的情况：数据中没有答案的问题、使用不同措辞的问题以及来源冲突的问题。每当您更改分块、模型或提示时，请重新运行此集，就像回归套件。我们的 pytest 教程 展示了如何通过单个测试运行多个输入。

RAG 系统为何失败

• 答案并不在数据中。 该模型可能仍会尝试一个，因此请告诉它如何拒绝。
• 未检索到正确的块。这通常是分块或搜索问题。
• 上下文太多。 不相关的段落可能会分散模型的注意力并增加成本。
• 过时的文档。 可以像当前策略一样自信地检索旧策略。
• 表格和 PDF 解析得很糟糕。 如果提取扰乱了文本，检索将永远无法恢复。
• 仅使用演示问题进行测试。 真实用户的表述方式非常不同。

安全和权限

RAG 带来了两个很容易被忽视的风险。首先，访问控制：如果索引包含 HR 文件，初级员工的问题不得检索它们。在检索期间应用每个用户的权限，因为指示模型保密并不是可靠的保护措施。

其次，及时注射。检索到的网页或文档可能包含诸如“忽略您的指示”之类的文本。将检索到的内容视为不可信数据，限制模型可以采取的操作，并要求人员批准敏感操作。

最后的话

RAG 是一个简单的想法，具有大量实用细节：找到正确的信息，然后要求模型使用它。从一小部分干净的文档和大约二十个实际问题开始。在增加复杂性之前先让检索工作正常，因为具有良好数据的适度管道通常会击败具有不良数据的复杂管道。

常见问题

继续学习