GitHub - SRKRZ23/vramkit:在 MacBook 上实测的 LLM 推理显存压缩:无损权重编解码器(在真实 Qwen 权重上比 4-bit 小 33%,优于 zstd)+ 即插即用的 PyTorch KV-cache 压缩。关键发现:按通道(而非按 token)量化 KV 的 key -> int8 KV 近乎无损,真实困惑度仅 +0.1%...

📌 One-Sentence Summary
一个在 MacBook 上构建的工具包显示,无损权重压缩比 zstd 优 1.5%,并发现按通道的 int8 key 量化让 KV-cache 缩小 2 倍而困惑度仅 +0.1%,而朴素的按 token 方案则要付出 +4.6% 的代价。
📝 Summary
vramkit 是一个开源项目,用于压缩 LLM 推理中两大显存消耗源:模型权重和 KV-cache。其权重编解码器采用从零实现的 32 位区间编码器,配合二维自适应上下文模型,在真实的 Qwen2.5-0.5B int4 权重上实现 2.676 bits/weight 的无损压缩——比原始 4-bit 小 33.1%,比 zstd-19 优 1.5%,比 xz-9e 优 1.2%。在所有权重张量类型上平均为 2.92 bits/weight,减少 27%。KV-cache 的发现是最大亮点:key 和 value 需要不同的量化轴。key 存在持续性的按通道离群值,因此按 token 缩放会压垮其他数值;按通道缩放可解决这一问题。在真实散文文本上的端任务困惑度显示,int8 按通道 key 加按 token value 可实现 2 倍显存缩减,困惑度仅 +0.1%,而朴素的按 token 方案则要付出 +4.6%。将 value 压到 int4 可达到 2.67 倍,代价为 +1.4%,但 int4 key 会严重退化(+25.6%)。作者坦诚地说明,此前一次使用余弦相似度和重复语料的评估存在缺陷,现已修正。代码为即插即用的 PyTorch,可运行于 AMD/ROCm、NVIDIA、Apple MPS 或 CPU,尤其适用于 ROCm 长上下文推理。后续计划包括用于流式解码的分组按通道 key 路径,以及 Metal/ROCm 反量化内核。
💡 Main Points
自定义的二维上下文区间编码器可将真实量化 LLM 权重无损压缩 33%(相比原始 4-bit),优于通用压缩器。
在 Qwen2.5-0.5B int4 权重上,vramkit 达到 2.676 bits/weight,而 zstd-19 为 2.717,xz-9e 为 2.708,并通过逐位精确的往返验证。在所有张量类型上平均为 2.92 bits/weight(-27%),表明这是量化权重的普遍特性,而非一次性结果。
KV-cache 的关键洞见是:key 需要按通道量化,而 value 用按 token 量化效果良好。
key 包含持续性的按通道离群值(巨激活维度);按 token 缩放会让这些值占据主导并损害其他数值。跨 token 的按通道缩放可解决此问题,使 int8 key 近乎无损。
按通道 int8 key 加按 token int8 value 可将 KV-cache 显存减半,真实困惑度仅 +0.1%,而朴素的按 token 方案则要付出 +4.6%。
在 Qwen2.5-0.5B 上用真实多样化散文文本测量端任务困惑度,显示按通道 key 轴是关键所在。将 value 压到 int4 可实现 2.67 倍压缩,代价为 +1.4%,但 int4 key 会退化 +25.6%,因此 int4 仅适用于 value。
作者坦诚地修正了此前一次使用余弦相似度和重复语料的缺陷评估。
余弦相似度会高估质量(按 token 与按通道 key 在余弦上仅差 0.0002,但在困惑度上差 4.5%),而重复语料会让困惑度失去意义。当前结果使用真实多样化散文文本和多个窗口。
即插即用的 PyTorch KV 压缩模块可运行于 AMD/ROCm、NVIDIA、Apple MPS 和 CPU,其中 ROCm 长上下文推理是重点目标。
在 ROCm 上,长上下文推理在超过约 64k 上下文后会退化,且 FP8-KV 支持尚在成熟中;近乎无损的 2 倍 KV 压缩可直接提升每块 GPU 的并发请求数或上下文长度。项目正在寻求 MI300X/Radeon 算力,以在 7B+ 模型上验证并构建实时反量化内核。
💬 Key Quotes
核心发现,也是值得读这个仓库的原因:**key 和 value 需要不同的量化轴。**
按通道 int8 key 让 KV cache 缩小 2 倍,困惑度仅 **+0.1%**——几乎零代价。
余弦相似度高估了质量(按 token 与按通道 key 在余弦上仅差 0.0002,但在困惑度上差 4.5%),而重复语料会让困惑度失去意义。
**无损(逐位精确验证),相比原始 4-bit 减少 33%,比 zstd-19 优 1.5% / 比 xz-9e 优 1.2%**,在真实量化 LLM 权重上——已逼近二维熵下限。
**完全在 MacBook 上**构建和基准测试——无需数据中心 GPU 即可复现。
📊 Article Meta
AI Screening: 86
Source: Hacker News - Newest: "LLM"
Author: sardor_r1
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 913
Tags:
AI 与智能应用 , 本地与端侧 AI , Apple 芯片 , 开放权重模型 , 性能优化
实测过类似工具,作者说的基本属实。
支持作者,持续关注中。
支持作者,持续关注中。
刚好最近在找这方面的资料,太及时了。
很有价值的分享,感谢整理。
实话,说的不明不白
内容翔实,正好需要,先收藏再看。
楼主辛苦了,内容很有参考价值。
不错不错,已加入书签。
看完了,收获满满,期待更多更新。
楼主辛苦了,内容很有参考价值。
这篇文章分析得很透彻,收藏了!