搜索“如何取回我的钱”，一个好的系统应该找到一个标题为“退款政策”的页面，即使两者没有共同的重要单词。这种能力来自嵌入，它是现代人工智能中最有用的想法之一。

本指南无需大量数学知识即可解释嵌入。我们在 Python 3.13 中运行了一个小示例，其输出如下所示。其中的向量是我们手工制作的，每个向量只有三个数字，以使这个想法易于理解。真正的嵌入来自经过训练的模型，通常有数百或数千个数字。

什么是嵌入？

嵌入是将某物表示为数字列表，称为向量。训练一个模型，以便具有相关含义的项目获得靠近的向量。

"kitten"  -> [0.9, 0.8, 0.1]
"cat"     -> [0.9, 0.7, 0.2]
"invoice" -> [0.0, 0.1, 0.9]

一旦文本采用这种形式，计算机就可以计算出两段文本的相似程度，而这是它无法直接用单词来计算的。嵌入也不限于单词。句子、整个文档、图像、音频和产品都可以嵌入。

为什么不直接匹配关键词呢？

我们的 RAG 指南在实践中展示了这一点。一个简单的字数搜索“我什么时候可以拿回我的钱？”的得分为零。反对退款文件，因为他们没有透露任何信息。还要注意第三行：精确标识符是嵌入的弱点，因此关键字搜索仍然有一席之地。

想出一张地图

想象一下将每个单词放在一张巨大的地图上，其中位置反映了含义。 “猫”和“小猫”几乎坐在一起，“狗”在同一个街区，“发票”在不同的城市。要找到相关的单词，您只需查看附近即可。

真正的嵌入以相同的方式工作，只是地图有数百个维度而不是两个。人们无法想象这一点，但数学原理是一样的。单个数字通常没有明确的含义，例如“毛茸茸的”。重要的是整体定位。

一个小的工作示例

以下是如何比较我们手工制作的矢量：

import math

def cosine(a, b):
    dot = sum(x * y for x, y in zip(a, b))
    return dot / (math.sqrt(sum(x * x for x in a)) *
                  math.sqrt(sum(y * y for y in b)))

vectors = {
    "kitten":  [0.9, 0.8, 0.1],
    "cat":     [0.9, 0.7, 0.2],
    "dog":     [0.8, 0.3, 0.2],
    "invoice": [0.0, 0.1, 0.9],
}

for word in ("kitten", "dog", "invoice"):
    print(word, round(cosine(vectors["cat"], vectors[word]), 3))

# kitten 0.994
# dog 0.955
# invoice 0.238

对于“猫”，“小猫”得分最高，“狗”次之，“发票”则低得多。我们选择这些向量来产生该模式，因此排名并不能证明真实语言的情况。它仅显示计算的行为方式。语义搜索通过三个步骤执行相同的操作：嵌入查询、针对每个存储的项目对其进行评分，然后进行排序。

query = [0.85, 0.75, 0.15]
sorted(vectors, key=lambda w: cosine(query, vectors[w]), reverse=True)

# ['kitten', 'cat', 'dog', 'invoice']

余弦相似度解释

每个向量都可以被认为是从原点指向的箭头。余弦相似度测量两个箭头之间的角度，忽略它们的长度。我们确认了关键值：

cosine([1, 2, 3], [2, 4, 6])   # 1.0   same direction
cosine([1, 0], [0, 1])         # 0.0   unrelated (at right angles)
cosine([1, 0], [-1, 0])        # -1.0  opposite directions

看第一行。 [2, 4, 6] 的长度是 [1, 2, 3] 的两倍，但分数却是完美的 1.0，因为方向才是最重要的。这对于文本很有用，因为文本的长度可以反映文档大小等内容，而不是含义。也要小心阈值。没有表示“相似”的通用分数，因为有用范围因模型而异，因此请使用您自己的数据进行测试。

其他距离测量

差异很容易看出。余弦分数为 1.0 的这两个相同向量的欧几里得距离为 3.742，因为其中一个比另一个长。许多系统对向量进行归一化，将每个向量的长度缩放为 1。之后，点积和余弦给出相同的答案，我们证实了这一点：“猫”和“狗”的结果都是 0.955。检查您的模型的文档以了解它推荐的措施。

嵌入是如何学习的

在实际系统中没有人手动分配这些数字。神经网络在训练过程中学习它们。一个早期且有影响力的想法是，出现在相似上下文中的单词往往具有相似的含义，例如“我喂了我的猫”和“我喂了我的狗”。 Word2Vec 和 GloVe 等模型从这些模式中学习了词向量。

后来，基于 Transformer 的模型（例如 BERT）使嵌入具有上下文感知能力，因此“银行”可以在“河岸”和“银行贷款”中获得不同的向量。许多现代模型一次嵌入整个句子或段落。我们的大型语言模型指南解释了转换器如何处理上下文。

使用嵌入的地方

大规模搜索

我们的示例将查询与每个项目进行比较，这称为精确搜索。这对于数千个项目来说效果很好，但对于数百万个项目来说就变得很慢。 近似最近邻 (ANN) 索引（例如 HNSW）解决了这个问题。他们通过放弃错过绝对最佳比赛的微小机会，很快找到非常接近的比赛。

矢量数据库和扩展（例如 PostgreSQL 的 pgvector）提供这些索引以及过滤和存储。我们的矢量数据库指南涵盖了这些选项。对于一个小型项目，您可能根本不需要它，内存中搜索是一个非常好的开始方式。

选择嵌入模型

• 语言。 例如，如果您的内容是印地语或泰米尔语，请检查模型是否可以很好地处理它。
• 领域。 一般模型可能会与专业的法律或医学术语发生冲突。
• 维度。 更多维度可以捕获更多细节，但会消耗更多存储和内存。
• 成本和托管。 将托管 API 与您可以自己运行的开放模型进行比较，尤其是对于私有数据。
• 输入长度。模型有限制，因此必须先将长文档分割成块。

最好的测试是你自己的数据。收集大约 20 个真实查询以及它们应该找到的文档，并比较每个模型如何对它们进行排名。发布的基准可能无法反映您的内容。

局限性

• 模型锁定。来自不同模型的向量无法进行比较。如果更改模型，则必须重新嵌入所有内容。
• 精确术语。 ID、代码和罕见名称可能无法可靠匹配。
• 否定。“允许退款”和“不允许退款”可以同时出现，尽管含义相反。
• 相似并不意味着正确。 接近的匹配可能已经过时或根本就是错误的。
• 偏差。 嵌入可以吸收训练数据中的刻板印象。
• 余弦不是魔法。 研究人员质疑它对于某些学习嵌入的意义有多大，因此将分数视为有用的信号，而不是作为真理的衡量标准。

常见错误

• 混合模型。嵌入具有相同模型和版本的查询和文档。
• 到处使用一个相似性阈值。针对每个模型和任务对其进行调整。
• 整个嵌入巨大的文档。意义被稀释，所以首先将它们分块。
• 跳过评估。 如果没有测试查询，您无法判断更改是否有帮助。
• 对所有内容使用嵌入。 如果用户搜索确切的 ID，则普通的数据库索引 更好。

最后的话

嵌入将意义转化为数字，以便软件可以比较想法而不是字符串。这个概念很简单，而实际工作在于选择模型、对数据进行分块以及对实际查询进行测试。要亲自尝试，请使用任何嵌入模型嵌入几十个您自己的文档，用真实的问题搜索它们，然后看看结果在哪里让您感到惊讶。

常见问题

继续学习