通过专门化 SLM 词汇表,让真实应用中的推理成本降低 77%

📌 One-Sentence Summary
VocabX 按 token 服务成本而非出现频率来专门化 SLM 词汇表,在一个生产环境中的作文评分器上将推理成本降低了 77%,同时提升了质量。
📝 Summary
文章介绍了 VocabX:一种根据特定领域调整预训练模型词汇表的方法。它不依据原始出现频率,而是按照 token 的推理成本选择 token,并根据 token 出现在输入端(预填充成本低)还是输出端(解码成本高)进行加权。作者以基于 Qwen3-4B 构建的葡萄牙语作文评分器为案例,展示了基础分词器会将重复的输出结构(JSON 外壳、能力名称)拆分成多个 token,同时还包含约 152K 个未使用的词汇条目,给受内存带宽限制的解码阶段带来负担。VocabX 在成本加权标准下重建子词层,并为重复片段(例如完整的 JSON 区块)添加宏 token,同时通过统计估算评估采样未覆盖的候选项。最终,平均响应 token 数从 350 降至 101,实测推理成本降低 77%,评分质量也有所提升。在 15 组领域与模型组合实验中(包括基于 Qwen3、Llama-3.1、Gemma-3 的合同、医疗、代码等场景),VocabX 在 token 数减少和估算推理成本方面都胜过了强基线方法(FVT、MWT、原位 BPE)。完整论文即将发布。
💡 Main Points
受内存带宽限制,token 生成(解码)的成本远高于 token 处理(预填充),因此优化输出侧词汇表是降低成本最有效的手段。
在使用 RTX 5090 的评分器测试中,生成一个 token 的成本是读取一个 token 的 7.4 倍。由于 LM 头在每个解码步骤中都会对完整权重矩阵(约占模型参数的 10%)执行乘法运算,每个未使用的词汇表条目都会增加内存流量。因此,减少输出 token 数并缩小输出层能带来不成比例的成本节省。
VocabX 按成本加权标准选择 token(输出 token 的权重约为输入 token 的 7.4 倍),并同时优化两个层面:子词合并,以及针对重复多 token 片段的宏 token。
不同于以往仅根据出现频率优化子词合并(FVT)或仅优化完整短语 token(MWT、原位 BPE)的方法,VocabX 在统一的成本目标下联合优化这两个层面。五种专用挖掘器会检测从长单词到 JSON 等结构化格式的各种重复模式,其中结构挖掘器的平均贡献最大。
通过统计估算采样语料中未出现的候选项,可以找回频率采样方法遗漏的大量 token 缩减空间。
罕见但会反复出现的模式(例如在 50K 份合同中出现 37 次的条款)往往不会出现在 400 份文档的样本中。VocabX 根据已观察候选项的表现来估算这些模式的边际收益,而不是将收益记为零。在预算不变的情况下,这使合同文本的 token 缩减率从 44.7% 提高到 52.8%。
过度压缩可能损害质量,尤其是当被压缩的片段包含模型的核心决策时;最佳词汇表应保留对决策至关重要的 token,即使会略微增加 token 成本。
VocabX 的早期版本将每项能力评分融合进周围的 JSON 宏 token,实现了最大压缩,却使基准分数低于基线(0.689 对比 0.703)。将评分拆分为独立 token 后,每个响应增加了 2 个 token,但分数升至 0.810,整体成本反而更低(成本降幅为 77.0%,而非 73.3%),因为模型不再会臆造评分与结构之间的组合。
该方法可泛化到不同领域和模型家族,在全部 15 组测试组合中都领先于最强基线;估算推理成本的平均领先幅度分别为 Qwen3 的 +10.2、Llama-3.1 的 +7.5 和 Gemma-3 的 +13.6 个百分点。
使用 Qwen3、Llama-3.1 和 Gemma-3 在合同、医学论文、科学论文、新闻和 Python 代码等领域开展的实验均显示出稳定收益。在合同领域,经过裁剪的 VocabX 使用 113K 个词汇表条目,实现了 62.6% 的 token 缩减率;相比之下,原位 BPE 使用 208K 个条目,缩减率为 61.8%。
💬 Key Quotes
分词器通常被视为基础模型的固定属性,直接继承并保持不变。对于专门用于单一领域的模型而言,它可能是最大的成本调节手段之一,而且在任何训练步骤开始之前就已确定。
可以把它想象成一家按箱收费的运输公司,但寄出的箱子收费是寄入箱子的七倍。减少箱子总数会有帮助,而减少寄出的箱子,效果会好七倍。
VocabX 不会让模型变得更聪明。它只是让模型不再为那些无需逐字写出的文本付费,也不再为它永远不会使用的词汇表打分。
目标不是找到成本最低的词汇表,而是找到能保留关键 token 的最低成本词汇表。
📊 Article Meta
AI Screening: 88
Source: Hugging Face - Blog
Author: Bernardo França de Aguiar, Gabriel Pimenta de Freitas Cardoso, Bruno Duarte, Francisco de Almeida Rocha Alves
Category: 人工智能
Language: 英文
Read Time: 10 min
Word Count: 2289
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , 开放权重模型 , LLM 推理优化
点赞,必须点赞
作者写得真不错,学到了不少。
有没有更详细的教程,期待后续。
讲解得很细致,新手也能看懂。
很有价值的分享,感谢整理。
实测过类似工具,作者说的基本属实。
作者写得真不错,学到了不少。
作者写得真不错,学到了不少。
有没有更详细的教程,期待后续。
赞同,实践出真知。
支持作者,持续关注中。
看完了,收获满满,期待更多更新。