GAAC:面向个人设备上带宽高效 LLM 推理的无损 KV 压缩

📌 One-Sentence Summary
GAAC 提出了一种无损 KV 压缩系统,利用指数冗余来减少存储占用并加速个人设备上的 LLM 推理注意力计算,实现 1.4-1.41 倍 BF16 压缩和最高 27% 的内存缩减。
📝 Summary
GAAC(分组自适应加法编解码器)是一种无损键值(KV)缓存压缩系统,旨在解决个人设备上长上下文 LLM 推理中的带宽和内存瓶颈。该方法通过在校准后的逐通道基值加偏移码对连续区间内的 BF16 指数进行编码,实现分组自适应的码宽,同时逐位保留 KV 值。融合注意力内核可即时重建 KV 分块,避免全缓存解压。系统支持分块压缩和固定容量槽位,以支持增量缓存更新和分页服务。在五个模型上,GAAC 实现了 1.405-1.407 倍的无损 BF16 KV 压缩,在 FP8 E4M3 缓存上为 1.09-1.14 倍,在 E5M2 缓存上为 1.25-1.30 倍。在 NVIDIA DGX Spark 上,它在 64K token 上下文下将解码注意力加速 1.19-1.27 倍,并将端到端 W4A16 解码步骤提升 1.04-1.15 倍,同时将常驻 KV 内存减少约 26%,在可比 KV 内存预算下将吞吐量提升 13-29%。该方法还在 Apple M4 上展示了可移植性,注意力加速达 1.02-1.25 倍。
💡 Main Points
通过指数冗余实现无损 KV 压缩
GAAC 通过在校准后的逐通道基值加偏移码对连续区间内的 BF16 指数进行编码,利用指数表示的冗余性,同时逐位保留 KV 值,从而实现无损压缩。
分组自适应码宽与融合注意力
系统在小分组间自适应调整码宽,并采用融合注意力内核即时重建 KV 分块,避免全缓存解压,同时支持分页服务,实现高效的增量缓存更新。
跨平台性能提升
在 NVIDIA DGX Spark 上,GAAC 在 64K token 上下文下实现 1.19-1.27 倍注意力加速和 1.04-1.15 倍端到端解码提升,将 KV 内存减少约 26%,吞吐量提升 13-29%;在 Apple M4 上实现 1.02-1.25 倍注意力加速,展现出广泛的硬件兼容性。
💬 Key Quotes
GAAC 实现了 1.405-1.407 倍的无损 BF16 KV 压缩,同时逐位保留 KV 值。
在 NVIDIA DGX Spark 上,GAAC 在 64K token 上下文下将解码注意力加速 1.19-1.27 倍,端到端 W4A16 解码步骤提升 1.04-1.15 倍。
在服务场景中,它在可比 KV 内存预算下将常驻 KV 内存减少约 26%,并将总吞吐量提升 13-29%。
📊 Article Meta
AI Screening: 88
Source: Hacker News - Newest: "LLM"
Author: wslh
Category: 人工智能
Language: 英文
Read Time: 2 min
Word Count: 311
Tags:
AI 与智能应用 , 模型训练与推理 , AI 硬件与芯片 , Apple 芯片 , 性能优化
内容翔实,正好需要,先收藏再看。
这个比较实用,已转发给同事。
内容翔实,正好需要,先收藏再看。
作者写得真不错,学到了不少。
刚好最近在找这方面的资料,太及时了。
整理得太全面了,省了我不少时间。
楼主辛苦了,内容很有参考价值。
支持作者,持续关注中。
看标题就点进来了,内容果然没让人失望。
作者写得真不错,学到了不少。
这个比较实用,已转发给同事。
看标题就点进来了,内容果然没让人失望。