tokenizers v1:编码、解码与扩展性实测

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 902026-09-221583 阅读💛 238 收藏
tokenizers v1:编码、解码与扩展性实测

📌 One-Sentence Summary Hugging Face 的 tokenizers v1 候选版本重写了编码路径,采用手写 SIMD 分词器、词缓存、无分配合并循环和原生并行,编码速度比 v0.23 快 3–30 倍,同时产出完全相同的 token ID。

📝 Summary 本文宣布 tokenizers v1 候选版本发布,这是 Hugging Face tokenizer 库以性能为核心的重写版本,保留了 v0.23 的 API、词表、合并排名和输出 token ID,同时单线程编码速度提升 3 到 30 倍,八线程扩展效率达到线性的 76%。作者认为,随着模型加速和工作负载扩展,长期被视为可忽略的 tokenization 正成为瓶颈,导致 GPU 数据饥饿。核心改动包括:将工作区拆分为 tk-encode、tk-serialize、tk-convert 和 tk-train;用 bitcannon 替代正则分词器,针对常见字节级 BPE 语法使用 SIMD 位流操作;线程本地词缓存,对重复的预 token 进行记忆化;合并循环使用调用方拥有的暂存缓冲区、侵入式双向链表和 64 位打包候选对,避免分配和分支;以及原生并行,每个线程从自己的子池中获取暂存缓冲区和缓存。来自 tokbench 仓库的基准测试涵盖单线程和多线程吞吐量、按模型和按语言的对比、延迟、解码吞吐量、内存堆和 crate 大小,并遵循严格的方法论规则,如单一计时循环、排除加载时间、验证 ID 哈希和物理核心绑定。文章还列出了 1.0.0 版本剩余的工作,包括训练和推理使用单一编码实现、可选的偏移量和掩码、重做的规范化器、更简单的 Python 绑定和仅推理的 C/C++ 绑定,并勾勒了 1.0.0 之后关于 GPU 编码的工作。

💡 Main Points 随着模型和工作负载扩展,tokenization 正从可忽略的步骤转变为真正的瓶颈。在超大规模数据集上训练、服务大量并发请求或反复处理长输入时,CPU 完成 tokenization 的过程中模型可能数据饥饿,因此 v1 重点聚焦性能。

v1 保留了 v0.23 的输出、API、词表和合并排名,同时改进了所有可以改进的地方。该库保持跨 tokenizer 家族的通用性,而非专门针对 BPE,且 v1 加载 v0.23 能加载的一切,因此用户唯一的变化是安装哪个构建版本。

分词阶段被 bitcannon 取代,这是一个手写的 SIMD 位流分词器,而非通用正则引擎。由于分割模式是模型的固定参数,可以编写一次等效函数,并使用 SIMD 每次寄存器操作决定 64 字节;模式不在覆盖语法中的 tokenizer 保留正则路径,也就没有速度提升。

合并循环被重写以避免分配和分支。调用方拥有的暂存缓冲区消除了重复分配,符号存储在按位置链接的扁平数组中,预 token 分批处理,候选对打包为 64 位值,使比较变为整数比较,而「此处不合并」即为最大值。

线程本地词缓存和原生并行让重复词跳过合并,多个线程可同时编码。缓存将预 token 字节映射到最终 ID,使重复词只合并一次;同时每个线程从自己的子池中获取暂存缓冲区和词缓存,线程不再在单一锁上排队。

基准测试方法论被视为首要关注点,因为微小的设计差异可能主导结果。规则包括每个引擎使用单一计时循环、编码排除加载时间、对输出 ID 与基线进行 FNV-1a 验证、对常见单元格取中位数、每个进程完整扫描、物理核心绑定和独立 Jobs;文章还警告,反复编码同一文档和编码不同文档是两种不同的工作负载,有时都被称为「热」。

v1 在 Apple M4 Max 上单线程编码速度比 v0.23 快 3 到 30 倍,八线程扩展效率达到线性的 76%。低端是 t5-base,高端是 gpt2;提升来自管道不同位置多项改动的协同作用,且 v1 产出的 token ID 与已发布库完全相同。

💬 Key Quotes 你的 GPU 绝不应闲置等待 CPU 完成 tokenization。 v1 将产出与 v0.23 相同的 token ID。目标是保留输出、API、词表和合并排名,并改进所有**可以**改进的地方。 在 Apple M4 Max 上单线程编码文本比 v0.23 **快 3 到 30 倍**。 八线程扩展效率达到线性的 **76%**。 Tokenizer 基准测试应标明使用哪种工作负载,因为选择可能主导结果。

📊 Article Meta
AI Screening: 90
Source: Hugging Face - Blog
Author: Arthur Zucker, Simon Brandeis, Luc Georges, Lysandre
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2152
Tags: AI 与智能应用 , 性能优化 , 模型训练与推理 , AI 工程 , 开源项目

#AI 与智能应用# 性能优化# 模型训练与推理# AI 工程# 开源项目

文章评论(12)

风倚栏2026-09-22

整理得太全面了,省了我不少时间。

回复
吴超2026-09-22

整理得太全面了,省了我不少时间。

回复
墨沐雨2026-09-22

这篇文章分析得很透彻,收藏了!

回复
星寻梦2026-09-22

楼主辛苦了,内容很有参考价值。

回复
风倚栏2026-09-22

这个比较实用,已转发给同事。

回复
漾漾其华2026-09-22

写得挺用心的,支持一下。

回复
星寻梦2026-09-22

收藏了,以后慢慢研究。

回复
空向阳2026-09-22

这个观点很中肯,深有同感。

回复
墨沐雨2026-09-22

整理得太全面了,省了我不少时间。

回复
龙文博2026-09-22

这个观点很中肯,深有同感。

回复
空向阳2026-09-22

讲解得很细致,新手也能看懂。

回复
北岛渔夫2026-09-22

点赞,必须点赞

回复