亚比特 KV 缓存量化使吞吐量翻倍

山止川行AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-13618 阅读💛 131 收藏
亚比特 KV 缓存量化使吞吐量翻倍

📌 One-Sentence Summary

LoopVQ 利用 Transformer 架构中的循环冗余实现亚比特 KV 缓存量化,使长上下文 LLM 服务的吞吐量翻倍、解码延迟减半。

📝 Summary

LoopVQ 为循环式 Transformer 的 KV 缓存引入亚比特量化技术,通过联合编码多个循环步骤并微调码本,将注意力缓存压缩至每个元素不足 1 bit。这种方法将 KV 缓存的内存瓶颈转化为速度优势:在 32K tokens 时,延迟约为 BF16 的一半,同时下游推理性能几乎没有损失。该方法在 1.4B 和 2.6B Ouro 模型上分别实现最高 4.3x 和 6.1x 的吞吐量提升,在典型批次大小下,每秒请求处理能力约提升至两倍。LoopVQ 可直接集成到 SGLang 服务栈中,无需重新训练 Transformer;但要获得更广泛的应用,仍需开发能够针对不同架构自动适配码本的工具。

💡 Main Points

LoopVQ 通过使用微调后的码本联合编码多个循环步骤,将 KV 缓存压缩至亚比特精度

该方法利用 Transformer 沿循环轴的冗余,使每个元素所需的存储空间低于 1 bit,同时无需重新训练底层 Transformer,也能保持其功能表现。

亚比特量化使长上下文解码延迟减半,同时保持推理性能

在每个元素 0.5 bits 的情况下,LoopVQ 在 32K tokens 时的延迟约为 BF16 的一半,下游推理和检索性能几乎没有损失,并在思维链基准测试中达到与全精度相当的结果。

吞吐量提升随上下文长度和硬件效率而变化

LoopVQ 在 1.4B 和 2.6B Ouro 模型上将峰值服务吞吐量分别提升最高 4.3x 和 6.1x;在保持相同硬件规模的同时,每秒请求处理能力约提升至两倍。

要实现更广泛的应用,需要自动适配码本的工具

当前实现依赖针对已评测模型(Ouro 和 Huginn)进行训练后码本微调;在超低精度设置(0.25-bit)下,还需要 TaSQ 等额外技术才能维持可接受的准确率。

💬 Key Quotes

LoopVQ 将注意力缓存压缩至亚比特精度,把 KV 缓存的内存瓶颈转化为速度优势

KV 缓存……成为主要的内存瓶颈

在每个元素 0.5 bits 时,LoopVQ 将长上下文的解码延迟减半;在 32K tokens 时,延迟约为 BF16 的一半

与 BF16 基线相比,1.4B 和 2.6B Ouro 模型的峰值服务吞吐量分别提升最高 4.3x 和 6.1x

📊 Article Meta

AI Screening: 88

Source: DEV Community: machinelearning

Author: Papers Mache

Category: 人工智能

Language: 英文

Read Time: 2 min

Word Count: 389

Tags:

AI 与智能应用 , 性能优化 , 模型训练与推理 , AI 工程 , LLM 推理优化

#AI 与智能应用# 性能优化# 模型训练与推理# AI 工程# LLM 推理优化

文章评论(12)

星知秋2 天前

刚好最近在找这方面的资料,太及时了。

回复
林拾贝2 天前

收藏了,以后慢慢研究。

回复
南山客2 天前

收藏了,以后慢慢研究。

回复
漾漾其华2 天前

这个比较实用,已转发给同事。

回复
杨丽华2 天前

这篇文章分析得很透彻,收藏了!

回复
墨沐雨2 天前

这篇文章分析得很透彻,收藏了!

回复
林拾贝2 天前

赞同,实践出真知。

回复
一叶知秋2 天前

赞同,实践出真知。

回复
蓝归舟2 天前

作者写得真不错,学到了不少。

回复
逐光而行2 天前

看标题就点进来了,内容果然没让人失望。

回复
崔欣怡2 天前

楼主辛苦了,内容很有参考价值。

回复
逐光而行2 天前

作者写得真不错,学到了不少。

回复