GAAC:面向个人设备上带宽高效 LLM 推理的无损 KV 压缩

溪行者AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-02203 阅读💛 215 收藏
GAAC:面向个人设备上带宽高效 LLM 推理的无损 KV 压缩

📌 One-Sentence Summary

GAAC 提出了一种无损 KV 压缩系统,利用指数冗余来减少存储占用并加速个人设备上的 LLM 推理注意力计算,实现 1.4-1.41 倍 BF16 压缩和最高 27% 的内存缩减。

📝 Summary

GAAC(分组自适应加法编解码器)是一种无损键值(KV)缓存压缩系统,旨在解决个人设备上长上下文 LLM 推理中的带宽和内存瓶颈。该方法通过在校准后的逐通道基值加偏移码对连续区间内的 BF16 指数进行编码,实现分组自适应的码宽,同时逐位保留 KV 值。融合注意力内核可即时重建 KV 分块,避免全缓存解压。系统支持分块压缩和固定容量槽位,以支持增量缓存更新和分页服务。在五个模型上,GAAC 实现了 1.405-1.407 倍的无损 BF16 KV 压缩,在 FP8 E4M3 缓存上为 1.09-1.14 倍,在 E5M2 缓存上为 1.25-1.30 倍。在 NVIDIA DGX Spark 上,它在 64K token 上下文下将解码注意力加速 1.19-1.27 倍,并将端到端 W4A16 解码步骤提升 1.04-1.15 倍,同时将常驻 KV 内存减少约 26%,在可比 KV 内存预算下将吞吐量提升 13-29%。该方法还在 Apple M4 上展示了可移植性,注意力加速达 1.02-1.25 倍。

💡 Main Points

通过指数冗余实现无损 KV 压缩

GAAC 通过在校准后的逐通道基值加偏移码对连续区间内的 BF16 指数进行编码,利用指数表示的冗余性,同时逐位保留 KV 值,从而实现无损压缩。

分组自适应码宽与融合注意力

系统在小分组间自适应调整码宽,并采用融合注意力内核即时重建 KV 分块,避免全缓存解压,同时支持分页服务,实现高效的增量缓存更新。

跨平台性能提升

在 NVIDIA DGX Spark 上,GAAC 在 64K token 上下文下实现 1.19-1.27 倍注意力加速和 1.04-1.15 倍端到端解码提升,将 KV 内存减少约 26%,吞吐量提升 13-29%;在 Apple M4 上实现 1.02-1.25 倍注意力加速,展现出广泛的硬件兼容性。

💬 Key Quotes

GAAC 实现了 1.405-1.407 倍的无损 BF16 KV 压缩,同时逐位保留 KV 值。

在 NVIDIA DGX Spark 上,GAAC 在 64K token 上下文下将解码注意力加速 1.19-1.27 倍,端到端 W4A16 解码步骤提升 1.04-1.15 倍。

在服务场景中,它在可比 KV 内存预算下将常驻 KV 内存减少约 26%,并将总吞吐量提升 13-29%。

📊 Article Meta

AI Screening: 88

Source: Hacker News - Newest: "LLM"

Author: wslh

Category: 人工智能

Language: 英文

Read Time: 2 min

Word Count: 311

Tags:

AI 与智能应用 , 模型训练与推理 , AI 硬件与芯片 , Apple 芯片 , 性能优化

#AI 与智能应用# 模型训练与推理# AI 硬件与芯片# Apple 芯片# 性能优化

文章评论(12)

杨丽华13 天前

内容翔实,正好需要,先收藏再看。

回复
雪知秋14 天前

这个比较实用,已转发给同事。

回复
竹听风13 天前

内容翔实,正好需要,先收藏再看。

回复
杨丽华13 天前

作者写得真不错,学到了不少。

回复
蓝光13 天前

刚好最近在找这方面的资料,太及时了。

回复
三分糖去冰13 天前

整理得太全面了,省了我不少时间。

回复
一叶知秋13 天前

楼主辛苦了,内容很有参考价值。

回复
蓝临风13 天前

支持作者,持续关注中。

回复
林拾贝13 天前

看标题就点进来了,内容果然没让人失望。

回复
山问津13 天前

作者写得真不错,学到了不少。

回复
邱文博13 天前

这个比较实用,已转发给同事。

回复
龙文博13 天前

看标题就点进来了,内容果然没让人失望。

回复