我们如何将 AI 模型缩小 85% 并保留 90% 的智能

📌 One-Sentence Summary
本文介绍 Pingala-8,一种 2 比特量化格式,通过旋转、误差反馈舍入和网格编码的组合,将 Qwen3-4B 模型从 8.05 GB 压缩至 1.24 GB,同时保持高准确率。
📝 Summary
Pingala-8 是 Genrius AI 开发的一种新型 2 比特量化格式,旨在显著降低大语言模型的内存占用。通过应用一系列先进技术,包括用于归一化权重的 Hadamard 旋转、用于最小化量化误差的 LDLQ 误差反馈舍入,以及用于扩展有效码本大小的网格编码状态机,该格式实现了约 6.5 倍的压缩比。所得模型 Qwen3-4B 在标准基准测试中表现出色,困惑度得分为 16.64,平均测验准确率为 50.8%,表明尽管模型规模大幅缩减,原始模型的绝大部分智能仍得以保留。
💡 Main Points
2 比特量化的挑战
将模型压缩至每个权重 2 比特(4 个可能值)十分困难,因为微小的舍入误差会逐层累积,且离群值可能扭曲表示。Pingala-8 通过旋转权重以降低方差,并利用误差反馈确保权重总和保持准确,从而解决这一问题。
网格编码的作用
网格编码状态机使该格式能够使用比 2 比特通常允许的更大的有效码本。虽然它相比简单码本提供了显著优势,但消融研究表明,旋转和舍入步骤贡献了大部分质量提升。
性能与权衡
Pingala-8 提供了出色的压缩率和高准确率,但也存在权衡。解码过程比标准格式更慢,尤其是在提示处理方面,且该格式目前因依赖特定的 CUDA 内核而仅限于 NVIDIA GPU。
💬 Key Quotes
在每权重 2 比特下,每个权重可取 4 个值之一。每个权重被舍入到其最近的允许值,差值即为误差。两件事使这种误差造成伤害:它会累积,以及离群值。
对于任何构建 2 比特量化器的人来说,教训是:旋转和误差反馈舍入承载了大部分质量。网格记忆解释了已经接近的格式之间的大部分微小差距,而对与普通码本格式之间的巨大差距贡献甚微。
Pingala 的《Chandahsutra》是一部关于诗歌韵律的古梵语著作,列出了三个长或短音节的 8 种模式,即 ganas。我们的网格有 8 个状态,因此以他的名字命名该格式。
📊 Article Meta
AI Screening: 92
Source: DEV Community: machinelearning
Author: Genrius AI
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1857
Tags:
AI 与智能应用 , 阿里通义 , 量化 , 模型压缩 , Qwen3-4B
写得挺用心的,支持一下。
有没有更详细的教程,期待后续。
点赞,必须点赞
实话,说的不明不白
这篇文章分析得很透彻,收藏了!
思路清晰,干货满满。
支持作者,持续关注中。
讲解得很细致,新手也能看懂。
看完了,收获满满,期待更多更新。
内容翔实,正好需要,先收藏再看。
刚好最近在找这方面的资料,太及时了。
看完了,收获满满,期待更多更新。