少用 43% 的 Token,保留 98.9% 的质量:VisionWeave 如何像花钱一样分配视觉 Token

📌 One-Sentence Summary
VisionWeave 是阿里巴巴 Qwen 团队提出的一种方法,它根据图像内容自适应分配 Token,而非使用固定预算,从而将视觉 Token 用量减少 43%,同时保持 98.9% 的模型性能。
📝 Summary
文章介绍了 VisionWeave,一种优化视觉语言模型中视觉 Token 使用的技术。VisionWeave 不采用对图像均匀采样或删除 Token 的方式,而是使用一个学习得到的路由器,将高分辨率 Token 分配给重要区域,将低分辨率 Token 分配给背景区域。这种自适应方法在不牺牲模型理解图像能力的前提下,带来了显著的计算节省(推理速度最高提升 2.3 倍)。
💡 Main Points
自适应 Token 分配
VisionWeave 不为每张图像使用固定数量的 Token。相反,它分析图像内容,将更多 Token 分配给信息密度高的区域(如文字或物体),将更少 Token 分配给均匀的背景区域。
高性能保留
尽管 Token 数量平均减少了 43%,模型在各项基准测试中仍保留了 98.9% 的原始性能。这表明被节省的 Token 是冗余的,并不包含关键信息。
推理速度提升
Token 的减少直接转化为更快的处理时间。在服务测试中,VisionWeave 的吞吐量提升了 2.3 倍,生成首个 Token 的时间减少了 54.4%。
💬 Key Quotes
重点不在于压缩率,而在于 Token 的去向:密集、细节丰富的区域保留细粒度 Token,平坦区域获得单个粗粒度 Token,且没有任何内容被直接删除。
八项基准测试的平均结果:节省 43.0%,损失 1.08%(平均分 76.73 对 77.65;以各项基准保留率的均值计算,保留率为 98.9%)。
在 SGLang 上(2 块 A100-80GB,BF16,张量并行 2,LongVideoBench 以 2 FPS 运行、上限 256 帧、每帧 1024 Token),VisionWeave 达到 2.07 对 0.90 请求/分钟(2.30 倍),平均首 Token 时间 169.90s → 77.54s(-54.4%),平均每输出 Token 时间 355.64ms → 140.29ms(-60.6%)。
📊 Article Meta
AI Screening: 92
Source: DEV Community: machinelearning
Author: Daniel Sam Pete Thiyagu
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1374
Tags:
AI 与智能应用 , 模型训练与推理 , 性能优化 , 视觉语言模型 , 阿里巴巴
内容翔实,正好需要,先收藏再看。
这个比较实用,已转发给同事。
作者写得真不错,学到了不少。
赞同,实践出真知。
思路清晰,干货满满。
有没有更详细的教程,期待后续。
有没有更详细的教程,期待后续。
不错不错,已加入书签。
楼主辛苦了,内容很有参考价值。
实话,说的不明不白
不错不错,已加入书签。
有没有更详细的教程,期待后续。