大语言模型工作原理全解：从 Transformer、token 到幻觉，一篇看懂你每天在用的 AI

你大概也曾在 ChatGPT 里敲过一个问题，拿到的回答读起来就像人写的一样。也许你想过：屏幕背后到底发生了什么？

什么是大语言模型？

大语言模型（LLM）是一类在海量文本上训练出来的神经网络，用来执行自然语言处理任务，尤其是生成语言。神经网络是一种大致受大脑神经元接线启发的计算机程序。它们从数据里学习模式，而不是被人显式编入规则。

大语言模型里的「大」指两件事。第一是训练数据量：从书籍、网站和其他文本来源抓取的数十亿词。第二是参数量，即模型用来做预测的可调内部数字。

OpenAI 在 2020 年发布的 GPT-3 有 1750 亿参数，是此前任何非稀疏语言模型的 10 倍以上。让 GPT-3 这类模型成为可能的 2017 年 Transformer 架构参数量少得多，但原理相同：数据和参数越多，模型处理语言的能力通常越强。

在机器学习里，模型是捕捉数据模式的数学表示。语言模型专门捕捉人类语言的统计模式：哪些词倾向于跟在哪些词后面、什么听起来合乎语法、一个问题的合理回答长什么样。它不存储句子再回放，而是学习语言的形状。

Transformer：改变一切的架构

2017 年，Google 的一个研究团队在 NeurIPS 会议上发表了一篇叫《Attention Is All You Need》的论文。他们提出了一种新的神经网络架构 Transformer，完全基于注意力机制，抛弃了此前语言模型依赖的循环连接。

这在实用层面意义重大。更早的语言模型逐词串行处理文本，意味着无法充分利用并行计算。Transformer 可以同时处理一句话里的所有词，训练速度大幅提升。原始 Transformer 用 8 块 GPU 训练了 3.5 天，就在翻译任务上超过了既有模型。

Transformer 还解决了困扰早期模型的一个问题：记住上下文。更老的循环神经网络经常在一句话读到结尾时，把开头的忘掉。注意力机制让每个词都能直接访问输入里的其他任何一个词，无论相距多远。

Transformer 论文发表后的第二年，Google 的研究者推出了 BERT——一个仅编码器变体，在 11 项自然语言任务上取得当时最好成绩。BERT 在 NLP 研究和商业应用中被广泛使用。但最终驱动 ChatGPT 的是仅解码器变体，它一次生成一个 token。这条血脉从原始 Transformer 一路传到 GPT-1、GPT-2、GPT-3 以及之后的模型。

Token：文字如何变成数字

计算机不理解文字，只理解数字。语言模型要处理语言，得先把文本转成数字形式，这个过程叫分词（tokenization）。

分词把文本切成叫 token 的单元。token 未必是完整的词，可能是一个词、一个词的一部分，甚至单个字符。

最常见的 Byte-Pair Encoding（BPE）原本是一种文本压缩算法，被 OpenAI 改造用于 GPT。GPT、GPT-2、RoBERTa、BART 和 DeBERTa 都在用。

BPE 是这样工作的：它从单个字符起步作为初始词表。然后在训练语料里找最频繁出现的相邻字符对，把它们合并成一个新 token 加入词表。如此重复，逐步建起一套常见子词单元的词表。

比如 “tokenization” 这个词可能被拆成 “token” 和 “ization”。这种做法把罕见词拆解成已知碎片，从而处理从未见过的词。

文本分词后，每个 token 映射到一个唯一整数 ID，模型用它去查嵌入向量。嵌入是一串数字（向量），表示 token 的含义。

想法是：含义相近的词会有相近的向量，因为它们出现在相似的上下文里。在这个数学空间里，“dog” 和 “puppy” 的向量方向相近，而 “dog” 和 “报税单” 会离得很远。

嵌入并不是为 LLM 发明的。这个概念可以追溯到 2013 年 Google 的 Tomas Mikolov 开发的 Word2Vec，它训练一个神经网络来预测目标词周围的词。

但现代 LLM 在训练中自学嵌入，而且这些嵌入在穿过模型各层时变得更丰富、更依赖上下文。

注意力：核心机制

如果只该理解一个 LLM 处理语言的机制，那就是注意力。有人说，它就是我们需要的全部。

注意力决定一个序列中每个成分相对于其他成分的重要程度。在自然语言处理里，这意味着给句子里的每个词分配「软权重」——表示模型做预测时该对每个词投入多少关注。

可以把它想成读一句话时自然地强调某些词。读到 “The bank of the river was muddy”（河边的堤岸是泥泞的）时，你知道这里的 “bank” 指河岸而不是金融机构，因为周围的词决定了含义。

注意力让模型做类似的事：遇到有歧义的词，它会权衡周围上下文来判断本意。

与训练中学到的固定权重（相当于模型的长期知识）不同，注意力权重是动态的。它们只在前向传播时存在，随每次新输入而变化。这正是一个模型能区别处理「河岸」句子和「利率」句子的原因。

原始 Transformer 用的是一种叫缩放点积自注意力的具体形式，输入序列里每个元素都关注所有其他元素。这就是模型能捕捉任意距离的词间关系的原因。

后来的改进叫多头注意力，让模型同时关注输入的不同侧面——一个「头」可能盯语法结构，另一个追踪话题。

训练是怎么进行的

训练一个大语言模型分阶段进行，每个阶段做的事不同。

第一阶段叫预训练。预训练时，模型被投喂海量文本，任务是预测下一个 token。没有任何标签告诉模型它的预测在事实意义上对不对。

模型看到的只是流畅语言的正样本，必须去逼近文本的整体分布。经过数百万次迭代，模型参数不断调整以降低预测误差。久而久之，它从训练数据的统计规律里学会了语法、事实、推理模式和文体惯例——全部如此。

预训练的产物是一个能生成流畅文本的模型，但它没有任何内在动机去做到有用、真实或贴合用户的真实意图。用 OpenAI InstructGPT 研究者的话说：把语言模型做得更大，并不能天然让它更擅长遵循用户意图。

第二阶段由此登场：微调。最主流的微调方法叫 RLHF，基于人类反馈的强化学习。

RLHF 里，人类评估者先针对提示词写出好回答的示例，模型通过监督学习在这些示例上微调。然后评估者对同一个提示词的多个模型回答排序，模型再用强化学习进一步微调，以产生符合排序偏好的回答。

效果可以是戏剧性的。OpenAI 报告称，13 亿参数的 InstructGPT 产出的回答，在人类评估者那里胜过了 1750 亿参数的 GPT-3——尽管小模型参数少了 100 倍。

人类反馈微调提升了真实性、减少了有毒输出，尽管模型仍会犯错。

缩放定律：为什么更大更好（到某个程度为止）

LLM 研究中最具实用意义的发现之一是缩放定律。2020 年 OpenAI 的 Jared Kaplan 和同事发表论文，发现模型性能（以交叉熵损失衡量）随三个因素呈幂律缩放：模型规模、数据集规模和训练算力。这些关系在超过七个数量级范围内都成立。

Kaplan 那篇论文还发现，更大的模型样本效率更高——用更少数据学到更多。这引出一个反直觉的建议：固定算力预算下，训练一个很大的模型、用相对适量的数据、在收敛前就停下，可能更划算。

两年后，2022 年 DeepMind 的 Jordan Hoffmann 和同事修正了这幅图景。他们训练了 400 多个模型，参数从 7000 万到 160 亿不等，发现当时的大语言模型显著训练不足——这是只顾扩大模型规模、保持训练数据不变造成的。

他们的建议常被称为 Chinchilla 缩放定律：模型规模和训练 token 应该等比扩大——模型参数每翻一倍，训练 token 数也应该翻倍。

他们用 Chinchilla 验证了这一点：700 亿参数，训练数据是 Gopher（2800 亿参数）的四倍。Chinchilla 在一系列任务上胜过了 Gopher、GPT-3，甚至 5300 亿参数的 Megatron-Turing NLG。教训是：数据跟模型规模一样重要。

幻觉：当机器开始编造

如果你用过 ChatGPT，多半遇到过幻觉：模型以十足的把握陈述一件事，而那件事是错的。2023 年，纽约一位律师提交了一份法律简报，里面引用的判例完全是 ChatGPT 编造的，此事登上了新闻头条。

幻觉的定义是：语言模型生成的内容无意义或不忠于给定来源。2024 年牛津大学研究者在《自然》发表论文，区分出幻觉的一个子集，称之为「虚构」：模型流畅地做出既错误又随意的断言，答案会随随机种子这类无关细节而改变。

为什么会这样？OpenAI 研究者 2025 年发表的分析认为，幻觉持续存在的原因之一是：标准评测方法奖励瞎猜而不是承认不确定。

他们的类比是：多选题考试，蒙一个答案有机会得分，空着不写保证零分。只按准确率打分的模型，就会有猜而不是说「我不知道」的激励。

更深层的原因在预训练机制。预训练时，陈述没有真假标签。模型只看到流畅语言的正样本，必须逼近整体分布。

拼写和语法遵循一致模式，所以模型变大后这类错误会消失；但任意性的事实——某人生日、冷门历史日期、具体判例引用——无法仅凭模式预测出来。

2025 年《Cluster Computing》上发表的一篇系统性综述考察了 2020 至 2025 年间 253 篇 LLM 幻觉主要研究，结论是幻觉对可靠性和用户信任构成严重挑战。《自然》上的另一篇分析指出，通过监督或强化学习鼓励真实性，只取得了部分成功。

OpenAI 研究者反驳了「幻觉不可避免」的说法。他们的分析发现，模型可以在不确定时弃答；一个知道自身边界的小模型，可以比一个爱瞎猜的大模型更可靠。他们同时认为，准确率永远不会达到 100%，因为有些现实问题本质上无法回答，与模型大小无关。

它们到底理解语言吗？

大语言模型是否真正理解语言，是人工智能研究里最有争议的问题之一。

2021 年，Emily Bender 和 Timnit Gebru（及同事）在 ACM FAccT 会议上发表了《论随机鹦鹉的危险》。他们主张大语言模型是「随机鹦鹉」：基于概率模式拼接语言形式，并不理解含义。

他们的批评聚焦三点：训练大模型的环境成本、训练数据中固化的偏见，以及把流畅输出误当真实理解的风险。

这个立场也有批评者。一些研究者认为，模型在某些语言任务上的表现——比如普林斯顿大学开发的 SkillMix 基准——暗示了超越纯模式匹配的能力。争论尚无定论。

清楚的是：LLM 处理语言的方式与人类有根本差异。它们没有身体、经历、意图或意识；它们有的是在文本上训练出的参数，产出统计上可信的 token 序列。

对使用 ChatGPT 的普通人来说，实际问题不是哲学问题，而是操作问题：输出能信吗？答案取决于任务。

创意写作、头脑风暴、起草草稿——模型产出流畅多样文本的能力是资产。事实断言、判例引用、医疗建议，或任何「错不起」的领域——模型输出必须核验。幻觉是这套系统运作方式的必然产物，不是能打补丁修掉的故障。

这一切把我们带到哪里

大语言模型是建立在一个聪明架构上的统计模式匹配器：用任何人一辈子都读不完的文本训练，再经人类反馈打磨得更顺手。它们生成的文本常常与人写的无法区分。它们也会产出自信的谬误、固化训练数据里的偏见，并且在「什么为真」上没有任何超出「哪些词倾向于出现在哪些词旁边」的模型。

驱动它们的 Transformer 架构是一次实用性突破：让训练更快、让模型更好地获取上下文。缩放定律告诉研究者如何高效分配算力。RLHF 让模型更有用、更少毒。这些进展没有一个让模型获得「知道什么是真」的能力。

眼下，LLM 是需要判断力才能用好的工具。它们能以十年前不可能的速度和规模写作、总结、翻译、分析文本。

在其他能力上我们也看到了显著进步，比如编写或重构复杂代码——尤其在为多轮工作流配备智能体框架时。

另一方面，LLM 会编造、会误导、会放大训练数据里最糟的模式。当用户把答案照单全收而不去外部可信来源核验时，问题尤其严重。

所以，理解 LLM 如何工作——架构、训练、注意力机制、流畅输出与事实可靠性之间的落差——是不被它忽悠的第一步。它们不是永不出错，而是用心使用时的趁手工具。一句话：永远核对你的 AI 的工作。

原文信息

作者：Mayhem4Markets（@Mayhem4Markets），X 平台 AI 与市场观察者 原文地址：