亚比特 KV 缓存量化使吞吐量翻倍

📌 One-Sentence Summary
LoopVQ 利用 Transformer 架构中的循环冗余实现亚比特 KV 缓存量化,使长上下文 LLM 服务的吞吐量翻倍、解码延迟减半。
📝 Summary
LoopVQ 为循环式 Transformer 的 KV 缓存引入亚比特量化技术,通过联合编码多个循环步骤并微调码本,将注意力缓存压缩至每个元素不足 1 bit。这种方法将 KV 缓存的内存瓶颈转化为速度优势:在 32K tokens 时,延迟约为 BF16 的一半,同时下游推理性能几乎没有损失。该方法在 1.4B 和 2.6B Ouro 模型上分别实现最高 4.3x 和 6.1x 的吞吐量提升,在典型批次大小下,每秒请求处理能力约提升至两倍。LoopVQ 可直接集成到 SGLang 服务栈中,无需重新训练 Transformer;但要获得更广泛的应用,仍需开发能够针对不同架构自动适配码本的工具。
💡 Main Points
LoopVQ 通过使用微调后的码本联合编码多个循环步骤,将 KV 缓存压缩至亚比特精度
该方法利用 Transformer 沿循环轴的冗余,使每个元素所需的存储空间低于 1 bit,同时无需重新训练底层 Transformer,也能保持其功能表现。
亚比特量化使长上下文解码延迟减半,同时保持推理性能
在每个元素 0.5 bits 的情况下,LoopVQ 在 32K tokens 时的延迟约为 BF16 的一半,下游推理和检索性能几乎没有损失,并在思维链基准测试中达到与全精度相当的结果。
吞吐量提升随上下文长度和硬件效率而变化
LoopVQ 在 1.4B 和 2.6B Ouro 模型上将峰值服务吞吐量分别提升最高 4.3x 和 6.1x;在保持相同硬件规模的同时,每秒请求处理能力约提升至两倍。
要实现更广泛的应用,需要自动适配码本的工具
当前实现依赖针对已评测模型(Ouro 和 Huginn)进行训练后码本微调;在超低精度设置(0.25-bit)下,还需要 TaSQ 等额外技术才能维持可接受的准确率。
💬 Key Quotes
LoopVQ 将注意力缓存压缩至亚比特精度,把 KV 缓存的内存瓶颈转化为速度优势
KV 缓存……成为主要的内存瓶颈
在每个元素 0.5 bits 时,LoopVQ 将长上下文的解码延迟减半;在 32K tokens 时,延迟约为 BF16 的一半
与 BF16 基线相比,1.4B 和 2.6B Ouro 模型的峰值服务吞吐量分别提升最高 4.3x 和 6.1x
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: Papers Mache
Category: 人工智能
Language: 英文
Read Time: 2 min
Word Count: 389
Tags:
AI 与智能应用 , 性能优化 , 模型训练与推理 , AI 工程 , LLM 推理优化
刚好最近在找这方面的资料,太及时了。
收藏了,以后慢慢研究。
收藏了,以后慢慢研究。
这个比较实用,已转发给同事。
这篇文章分析得很透彻,收藏了!
这篇文章分析得很透彻,收藏了!
赞同,实践出真知。
赞同,实践出真知。
作者写得真不错,学到了不少。
看标题就点进来了,内容果然没让人失望。
楼主辛苦了,内容很有参考价值。
作者写得真不错,学到了不少。