通过专门化 SLM 词汇表,让真实应用中的推理成本降低 77%

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-10-22556 阅读💛 130 收藏
通过专门化 SLM 词汇表,让真实应用中的推理成本降低 77%

📌 One-Sentence Summary

VocabX 按 token 服务成本而非出现频率来专门化 SLM 词汇表,在一个生产环境中的作文评分器上将推理成本降低了 77%,同时提升了质量。

📝 Summary

文章介绍了 VocabX:一种根据特定领域调整预训练模型词汇表的方法。它不依据原始出现频率,而是按照 token 的推理成本选择 token,并根据 token 出现在输入端(预填充成本低)还是输出端(解码成本高)进行加权。作者以基于 Qwen3-4B 构建的葡萄牙语作文评分器为案例,展示了基础分词器会将重复的输出结构(JSON 外壳、能力名称)拆分成多个 token,同时还包含约 152K 个未使用的词汇条目,给受内存带宽限制的解码阶段带来负担。VocabX 在成本加权标准下重建子词层,并为重复片段(例如完整的 JSON 区块)添加宏 token,同时通过统计估算评估采样未覆盖的候选项。最终,平均响应 token 数从 350 降至 101,实测推理成本降低 77%,评分质量也有所提升。在 15 组领域与模型组合实验中(包括基于 Qwen3、Llama-3.1、Gemma-3 的合同、医疗、代码等场景),VocabX 在 token 数减少和估算推理成本方面都胜过了强基线方法(FVT、MWT、原位 BPE)。完整论文即将发布。

💡 Main Points

受内存带宽限制,token 生成(解码)的成本远高于 token 处理(预填充),因此优化输出侧词汇表是降低成本最有效的手段。

在使用 RTX 5090 的评分器测试中,生成一个 token 的成本是读取一个 token 的 7.4 倍。由于 LM 头在每个解码步骤中都会对完整权重矩阵(约占模型参数的 10%)执行乘法运算,每个未使用的词汇表条目都会增加内存流量。因此,减少输出 token 数并缩小输出层能带来不成比例的成本节省。

VocabX 按成本加权标准选择 token(输出 token 的权重约为输入 token 的 7.4 倍),并同时优化两个层面:子词合并,以及针对重复多 token 片段的宏 token。

不同于以往仅根据出现频率优化子词合并(FVT)或仅优化完整短语 token(MWT、原位 BPE)的方法,VocabX 在统一的成本目标下联合优化这两个层面。五种专用挖掘器会检测从长单词到 JSON 等结构化格式的各种重复模式,其中结构挖掘器的平均贡献最大。

通过统计估算采样语料中未出现的候选项,可以找回频率采样方法遗漏的大量 token 缩减空间。

罕见但会反复出现的模式(例如在 50K 份合同中出现 37 次的条款)往往不会出现在 400 份文档的样本中。VocabX 根据已观察候选项的表现来估算这些模式的边际收益,而不是将收益记为零。在预算不变的情况下,这使合同文本的 token 缩减率从 44.7% 提高到 52.8%。

过度压缩可能损害质量,尤其是当被压缩的片段包含模型的核心决策时;最佳词汇表应保留对决策至关重要的 token,即使会略微增加 token 成本。

VocabX 的早期版本将每项能力评分融合进周围的 JSON 宏 token,实现了最大压缩,却使基准分数低于基线(0.689 对比 0.703)。将评分拆分为独立 token 后,每个响应增加了 2 个 token,但分数升至 0.810,整体成本反而更低(成本降幅为 77.0%,而非 73.3%),因为模型不再会臆造评分与结构之间的组合。

该方法可泛化到不同领域和模型家族,在全部 15 组测试组合中都领先于最强基线;估算推理成本的平均领先幅度分别为 Qwen3 的 +10.2、Llama-3.1 的 +7.5 和 Gemma-3 的 +13.6 个百分点。

使用 Qwen3、Llama-3.1 和 Gemma-3 在合同、医学论文、科学论文、新闻和 Python 代码等领域开展的实验均显示出稳定收益。在合同领域,经过裁剪的 VocabX 使用 113K 个词汇表条目,实现了 62.6% 的 token 缩减率;相比之下,原位 BPE 使用 208K 个条目,缩减率为 61.8%。

💬 Key Quotes

分词器通常被视为基础模型的固定属性,直接继承并保持不变。对于专门用于单一领域的模型而言,它可能是最大的成本调节手段之一,而且在任何训练步骤开始之前就已确定。

可以把它想象成一家按箱收费的运输公司,但寄出的箱子收费是寄入箱子的七倍。减少箱子总数会有帮助,而减少寄出的箱子,效果会好七倍。

VocabX 不会让模型变得更聪明。它只是让模型不再为那些无需逐字写出的文本付费,也不再为它永远不会使用的词汇表打分。

目标不是找到成本最低的词汇表,而是找到能保留关键 token 的最低成本词汇表。

📊 Article Meta

AI Screening: 88

Source: Hugging Face - Blog

Author: Bernardo França de Aguiar, Gabriel Pimenta de Freitas Cardoso, Bruno Duarte, Francisco de Almeida Rocha Alves

Category: 人工智能

Language: 英文

Read Time: 10 min

Word Count: 2289

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , 开放权重模型 , LLM 推理优化

#AI 与智能应用# 模型训练与推理# AI 工程# 开放权重模型# LLM 推理优化

文章评论(12)

星知秋25 天前

点赞,必须点赞

回复
墨向阳25 天前

作者写得真不错,学到了不少。

回复
墨向阳25 天前

有没有更详细的教程,期待后续。

回复
郭超25 天前

讲解得很细致,新手也能看懂。

回复
暮拾贝25 天前

很有价值的分享,感谢整理。

回复
杨丽华25 天前

实测过类似工具,作者说的基本属实。

回复
风倚栏25 天前

作者写得真不错,学到了不少。

回复
一叶知秋25 天前

作者写得真不错,学到了不少。

回复
一叶知秋25 天前

有没有更详细的教程,期待后续。

回复
松听风25 天前

赞同,实践出真知。

回复
雪知秋25 天前

支持作者,持续关注中。

回复
蓝归舟25 天前

看完了,收获满满,期待更多更新。

回复