聊天、总结和编写代码的工具看起来几乎是神奇的，直到你看到下面的机制。 大型语言模型（LLM）本质上是一个非常复杂的系统，用于预测下一段文本。这一想法既解释了这些工具的优点，也解释了它们为何失败。

本指南在没有任何数学的情况下解释了主要概念，然后构建了一个微小的下一个单词预测器以使想法具体化。我们在 Python 3.13 上运行该代码，并且输出来自该运行。它是一个简单的计数玩具，而不是一个神经网络，真正的法学硕士的能力要强得多。我们也避免引用特定型号的数据，因为它们变化很快。

什么是大语言模型？

法学硕士是一种经过训练可以理解和生成人类语言的人工智能。让我们一次一个单词地取这个名字：

• 大：它有大量可调整的内部值，称为参数，并且它从大量文本中学习。
• 语言：它适用于文本，包括自然语言和代码。
• 模型：它是一个数学系统，从数据中捕获模式并使用它们进行预测。

模型是引擎，聊天助手等产品是围绕模型构建的汽车。产品通常会添加用户界面、安全系统、搜索和其他工具。

核心思想：预测接下来会发生什么

你自己做这件事。如果您读到“法国的首都是”，您的脑海中立即会出现“巴黎”。法学硕士可以做类似的事情，但规模要大得多。给定一些文本，它会计算每个可能的下一个标记的可能性，选择一个，将其添加到文本中并重复。

没有正在查找的存储答案的数据库。该模型以数字的形式保存在训练期间学到的模式。当这些模式与事实相符时，您就会得到正确的答案。当他们不这样做时，您仍然可以获得流畅的答案，这是与搜索引擎的重要区别。

一个小型的工作演示

为了以最简单的形式查看下一个标记预测，该脚本会计算小文本中哪个单词跟在哪个单词后面。然后它根据这些计数生成新文本。统计学家称之为二元模型。

import random
from collections import Counter, defaultdict

TEXT = """the cat sat on the mat . the dog sat on the rug .
the cat saw the dog . the dog saw the cat ."""

tokens = TEXT.split()

follows = defaultdict(Counter)
for current, following in zip(tokens, tokens[1:]):
    follows[current][following] += 1

def probabilities(word):
    counts = follows[word]
    total = sum(counts.values())
    return {w: round(n / total, 2) for w, n in counts.most_common()}

print(probabilities("the"))
print(probabilities("sat"))

# {'cat': 0.38, 'dog': 0.38, 'mat': 0.12, 'rug': 0.12}
# {'on': 1.0}

该输出是概率分布。在“the”之后，模型认为最有可能的是“cat”和“dog”。现在我们通过从这些概率中重复采样来生成文本：

def generate(start, length, seed):
    rng = random.Random(seed)
    words = [start]
    for _ in range(length):
        counts = follows[words[-1]]
        words.append(rng.choices(list(counts), weights=counts.values())[0])
    return " ".join(words)

print(generate("the", 6, seed=1))
print(generate("the", 6, seed=2))
print(generate("the", 6, seed=3))

# the cat . the cat saw the
# the rug . the cat . the
# the cat saw the dog . the

注意三件事。相同的开始可以产生不同的文本，因为选择是随机的。输出类似于其训练数据，即使对于从未出现在其中的序列也是如此。它根本没有理解力，这就是为什么“地毯。猫”读起来就像无稽之谈。

向它询问一个它从未见过的单词，它没有提供任何内容：follows["elephant"] 是空的。我们的玩具只查看一个前一个单词。真正的法学硕士的巨大飞跃来自于考虑长时间的背景，并使用神经网络而不是简单的计数从更多的数据中学习。

令牌：模型如何读取

法学硕士不会像我们一样阅读整个单词。文本首先被分割成标记，这些标记可以是单词、单词的一部分或标点符号。每个标记都映射到一个数字，并且该模型完全适用于数字。

代币在实践中很重要有两个原因。托管模型的使用通常按代币定价，并且每个模型一次可以处理的数量都有限制。标记化也解释了一些著名的奇怪行为。由于模型看到的是块而不是字母，因此计算单词中的字母等任务传统上对它们来说非常困难。

嵌入：含义为数字

每个标记都变成一个嵌入，一长串数字，将其放置在某种意义空间中。相关概念最终会靠近在一起，因此“cat”和“kitten”的位置接近，而“cat”和“invoice”则不然。

同样的想法也支持语义搜索，您可以通过含义而不是确切的单词来查找文档。我们的矢量数据库指南涵盖了这种用途。

注意和变压器

大多数现代法学硕士都基于 Google 研究人员在 2017 年论文“Attention Is All You Need”中介绍的 transformer 架构。其关键机制是自注意力。

考虑这句话：“奖杯太大，无法放入手提箱。” “它”指的是什么？你知道这意味着奖杯。注意力让模型在处理每个新词时权衡每个较早的词，因此它可以将“it”链接到最相关的词，即使它们相距很远。

早期的方法逐步处理文本，并且往往会忘记远处的单词。 Transformers 一起查看上下文，并且它们可以在专用硬件上并行运行大部分工作，这使得对如此大量文本的训练变得实用。

LLM 的培训方式

预训练为模型提供了广泛的语言能力，但它可能只是继续你的文本而不是回答它。后期阶段将其塑造成一个有用的助手。训练大型模型需要大量的计算能力并且成本高昂。使用成品模型（称为推理）对于每个请求来说要便宜得多。

它如何生成文本

1. 您的提示被拆分为标记并转换为嵌入。
2. 网络处理它们，利用注意力将它们相互联系起来。
3. 它输出每个可能的下一个标记的概率。
4. 选择一个标记并将其添加到上下文中。
5. 重复步骤 2 至 4，直到达到停止条件。

这就是为什么回复通常在流式传输时逐字出现的原因。文本实际上是按顺序生成的。 温度控制步骤 4 的冒险程度：较低的值有利于最可能的标记，而较高的值允许更多的变化。

您将遇到的条款

您应该了解的限制

• 幻觉。 模型可以发明事实、引文或代码函数。因为它会产生可能的文本，所以错误的陈述看起来完全可信。
• 知识切断。除非产品将其连接到搜索或其他工具，否则它可能不知道最近发生的事件。
• 有限的上下文。如果对话超出上下文窗口，则可能会删除或总结先前的详细信息。模型也不会自动记住过去的聊天记录，除非产品添加了该功能。
• 偏差。 训练数据反映了人类的偏差，这些偏差可能会出现在输出中。
• 不一致。同一个问题可能会产生不同的答案，当您在一个问题的基础上构建软件时，这一点很重要。
• 安全风险。 文本中的隐藏指令可以操纵模型，这种问题称为提示注入。

善用LLM

将法学硕士视为快速、有能力的助手，其工作需要审查。一些习惯会产生很大的影响：

• 具体。 清晰的说明、上下文和示例可提供更好的结果。我们的快速工程指南展示了具体方法。
• 提供事实。 当答案必须来自您自己的文档时，请使用 RAG 而不是依赖记忆。
• 验证重要事项。根据可靠来源检查数据、引文以及法律或医学声明。
• 测试生成的代码。运行它并为其编写测试，就像为同事做的那样。我们的 AI 代码审查工具 指南提供了一些帮助。
• 保护敏感数据。 在与托管工具共享机密信息之前，请检查您组织的规则。

如果您正在决定如何为自己的工作自定义模型，我们对 RAG 与微调与提示工程 的比较将帮助您进行选择。

最后的话

LLM 是经过超大规模训练的下一个令牌预测器，它比描述所暗示的更有用，也更容易出错。记住这个机制可以帮助你更好地使用它：它的语言和模式很强，并且需要你对事实的监督。为了使其具体化，请使用您自己的文本运行上面的小脚本，然后在真正的助手中多次尝试相同的提示并比较答案。

常见问题

继续学习