少用 43% 的 Token,保留 98.9% 的质量:VisionWeave 如何像花钱一样分配视觉 Token

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 922026-10-27196 阅读💛 150 收藏
少用 43% 的 Token,保留 98.9% 的质量:VisionWeave 如何像花钱一样分配视觉 Token

📌 One-Sentence Summary

VisionWeave 是阿里巴巴 Qwen 团队提出的一种方法,它根据图像内容自适应分配 Token,而非使用固定预算,从而将视觉 Token 用量减少 43%,同时保持 98.9% 的模型性能。

📝 Summary

文章介绍了 VisionWeave,一种优化视觉语言模型中视觉 Token 使用的技术。VisionWeave 不采用对图像均匀采样或删除 Token 的方式,而是使用一个学习得到的路由器,将高分辨率 Token 分配给重要区域,将低分辨率 Token 分配给背景区域。这种自适应方法在不牺牲模型理解图像能力的前提下,带来了显著的计算节省(推理速度最高提升 2.3 倍)。

💡 Main Points

自适应 Token 分配

VisionWeave 不为每张图像使用固定数量的 Token。相反,它分析图像内容,将更多 Token 分配给信息密度高的区域(如文字或物体),将更少 Token 分配给均匀的背景区域。

高性能保留

尽管 Token 数量平均减少了 43%,模型在各项基准测试中仍保留了 98.9% 的原始性能。这表明被节省的 Token 是冗余的,并不包含关键信息。

推理速度提升

Token 的减少直接转化为更快的处理时间。在服务测试中,VisionWeave 的吞吐量提升了 2.3 倍,生成首个 Token 的时间减少了 54.4%。

💬 Key Quotes

重点不在于压缩率,而在于 Token 的去向:密集、细节丰富的区域保留细粒度 Token,平坦区域获得单个粗粒度 Token,且没有任何内容被直接删除。

八项基准测试的平均结果:节省 43.0%,损失 1.08%(平均分 76.73 对 77.65;以各项基准保留率的均值计算,保留率为 98.9%)。

在 SGLang 上(2 块 A100-80GB,BF16,张量并行 2,LongVideoBench 以 2 FPS 运行、上限 256 帧、每帧 1024 Token),VisionWeave 达到 2.07 对 0.90 请求/分钟(2.30 倍),平均首 Token 时间 169.90s → 77.54s(-54.4%),平均每输出 Token 时间 355.64ms → 140.29ms(-60.6%)。

📊 Article Meta

AI Screening: 92

Source: DEV Community: machinelearning

Author: Daniel Sam Pete Thiyagu

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1374

Tags:

AI 与智能应用 , 模型训练与推理 , 性能优化 , 视觉语言模型 , 阿里巴巴

#AI 与智能应用# 模型训练与推理# 性能优化# 视觉语言模型# 阿里巴巴

文章评论(12)

风拾光20 天前

内容翔实,正好需要,先收藏再看。

回复
曹浩20 天前

这个比较实用,已转发给同事。

回复
雪知秋20 天前

作者写得真不错,学到了不少。

回复
曹浩20 天前

赞同,实践出真知。

回复
星知秋20 天前

思路清晰,干货满满。

回复
星知秋20 天前

有没有更详细的教程,期待后续。

回复
蓝归舟20 天前

有没有更详细的教程,期待后续。

回复
龙文博20 天前

不错不错,已加入书签。

回复
杨丽华20 天前

楼主辛苦了,内容很有参考价值。

回复
月沐雨20 天前

实话,说的不明不白

回复
松听风19 天前

不错不错,已加入书签。

回复
一个橘子20 天前

有没有更详细的教程,期待后续。

回复