GitHub - SRKRZ23/vramkit:在 MacBook 上实测的 LLM 推理显存压缩:无损权重编解码器(在真实 Qwen 权重上比 4-bit 小 33%,优于 zstd)+ 即插即用的 PyTorch KV-cache 压缩。关键发现:按通道(而非按 token)量化 KV 的 key -> int8 KV 近乎无损,真实困惑度仅 +0.1%...

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-18555 阅读💛 146 收藏
GitHub - SRKRZ23/vramkit:在 MacBook 上实测的 LLM 推理显存压缩:无损权重编解码器(在真实 Qwen 权重上比 4-bit 小 33%,优于 zstd)+ 即插即用的 PyTorch KV-cache 压缩。关键发现:按通道(而非按 token)量化 KV 的 key -> int8 KV 近乎无损,真实困惑度仅 +0.1%...

📌 One-Sentence Summary

一个在 MacBook 上构建的工具包显示,无损权重压缩比 zstd 优 1.5%,并发现按通道的 int8 key 量化让 KV-cache 缩小 2 倍而困惑度仅 +0.1%,而朴素的按 token 方案则要付出 +4.6% 的代价。

📝 Summary

vramkit 是一个开源项目,用于压缩 LLM 推理中两大显存消耗源:模型权重和 KV-cache。其权重编解码器采用从零实现的 32 位区间编码器,配合二维自适应上下文模型,在真实的 Qwen2.5-0.5B int4 权重上实现 2.676 bits/weight 的无损压缩——比原始 4-bit 小 33.1%,比 zstd-19 优 1.5%,比 xz-9e 优 1.2%。在所有权重张量类型上平均为 2.92 bits/weight,减少 27%。KV-cache 的发现是最大亮点:key 和 value 需要不同的量化轴。key 存在持续性的按通道离群值,因此按 token 缩放会压垮其他数值;按通道缩放可解决这一问题。在真实散文文本上的端任务困惑度显示,int8 按通道 key 加按 token value 可实现 2 倍显存缩减,困惑度仅 +0.1%,而朴素的按 token 方案则要付出 +4.6%。将 value 压到 int4 可达到 2.67 倍,代价为 +1.4%,但 int4 key 会严重退化(+25.6%)。作者坦诚地说明,此前一次使用余弦相似度和重复语料的评估存在缺陷,现已修正。代码为即插即用的 PyTorch,可运行于 AMD/ROCm、NVIDIA、Apple MPS 或 CPU,尤其适用于 ROCm 长上下文推理。后续计划包括用于流式解码的分组按通道 key 路径,以及 Metal/ROCm 反量化内核。

💡 Main Points

自定义的二维上下文区间编码器可将真实量化 LLM 权重无损压缩 33%(相比原始 4-bit),优于通用压缩器。

在 Qwen2.5-0.5B int4 权重上,vramkit 达到 2.676 bits/weight,而 zstd-19 为 2.717,xz-9e 为 2.708,并通过逐位精确的往返验证。在所有张量类型上平均为 2.92 bits/weight(-27%),表明这是量化权重的普遍特性,而非一次性结果。

KV-cache 的关键洞见是:key 需要按通道量化,而 value 用按 token 量化效果良好。

key 包含持续性的按通道离群值(巨激活维度);按 token 缩放会让这些值占据主导并损害其他数值。跨 token 的按通道缩放可解决此问题,使 int8 key 近乎无损。

按通道 int8 key 加按 token int8 value 可将 KV-cache 显存减半,真实困惑度仅 +0.1%,而朴素的按 token 方案则要付出 +4.6%。

在 Qwen2.5-0.5B 上用真实多样化散文文本测量端任务困惑度,显示按通道 key 轴是关键所在。将 value 压到 int4 可实现 2.67 倍压缩,代价为 +1.4%,但 int4 key 会退化 +25.6%,因此 int4 仅适用于 value。

作者坦诚地修正了此前一次使用余弦相似度和重复语料的缺陷评估。

余弦相似度会高估质量(按 token 与按通道 key 在余弦上仅差 0.0002,但在困惑度上差 4.5%),而重复语料会让困惑度失去意义。当前结果使用真实多样化散文文本和多个窗口。

即插即用的 PyTorch KV 压缩模块可运行于 AMD/ROCm、NVIDIA、Apple MPS 和 CPU,其中 ROCm 长上下文推理是重点目标。

在 ROCm 上,长上下文推理在超过约 64k 上下文后会退化,且 FP8-KV 支持尚在成熟中;近乎无损的 2 倍 KV 压缩可直接提升每块 GPU 的并发请求数或上下文长度。项目正在寻求 MI300X/Radeon 算力,以在 7B+ 模型上验证并构建实时反量化内核。

💬 Key Quotes

核心发现,也是值得读这个仓库的原因:**key 和 value 需要不同的量化轴。**

按通道 int8 key 让 KV cache 缩小 2 倍,困惑度仅 **+0.1%**——几乎零代价。

余弦相似度高估了质量(按 token 与按通道 key 在余弦上仅差 0.0002,但在困惑度上差 4.5%),而重复语料会让困惑度失去意义。

**无损(逐位精确验证),相比原始 4-bit 减少 33%,比 zstd-19 优 1.5% / 比 xz-9e 优 1.2%**,在真实量化 LLM 权重上——已逼近二维熵下限。

**完全在 MacBook 上**构建和基准测试——无需数据中心 GPU 即可复现。

📊 Article Meta

AI Screening: 86

Source: Hacker News - Newest: "LLM"

Author: sardor_r1

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 913

Tags:

AI 与智能应用 , 本地与端侧 AI , Apple 芯片 , 开放权重模型 , 性能优化

#AI 与智能应用# 本地与端侧 AI# Apple 芯片# 开放权重模型# 性能优化

文章评论(12)

空向阳28 天前

实测过类似工具,作者说的基本属实。

回复
星寻梦28 天前

支持作者,持续关注中。

回复
林拾贝29 天前

支持作者,持续关注中。

回复
蓝光28 天前

刚好最近在找这方面的资料,太及时了。

回复
松听风28 天前

很有价值的分享,感谢整理。

回复
青柠微凉28 天前

实话,说的不明不白

回复
松听风28 天前

内容翔实,正好需要,先收藏再看。

回复
拾贝者28 天前

楼主辛苦了,内容很有参考价值。

回复
山问津28 天前

不错不错,已加入书签。

回复
林观澜28 天前

看完了,收获满满,期待更多更新。

回复
竹听风28 天前

楼主辛苦了,内容很有参考价值。

回复
崔欣怡28 天前

这篇文章分析得很透彻,收藏了!

回复