我们如何将 AI 模型缩小 85% 并保留 90% 的智能

清风徐来AI 前沿📡 BestBlogs·AI高分精选⭐ 922026-10-25803 阅读💛 107 收藏
我们如何将 AI 模型缩小 85% 并保留 90% 的智能

📌 One-Sentence Summary

本文介绍 Pingala-8,一种 2 比特量化格式,通过旋转、误差反馈舍入和网格编码的组合,将 Qwen3-4B 模型从 8.05 GB 压缩至 1.24 GB,同时保持高准确率。

📝 Summary

Pingala-8 是 Genrius AI 开发的一种新型 2 比特量化格式,旨在显著降低大语言模型的内存占用。通过应用一系列先进技术,包括用于归一化权重的 Hadamard 旋转、用于最小化量化误差的 LDLQ 误差反馈舍入,以及用于扩展有效码本大小的网格编码状态机,该格式实现了约 6.5 倍的压缩比。所得模型 Qwen3-4B 在标准基准测试中表现出色,困惑度得分为 16.64,平均测验准确率为 50.8%,表明尽管模型规模大幅缩减,原始模型的绝大部分智能仍得以保留。

💡 Main Points

2 比特量化的挑战

将模型压缩至每个权重 2 比特(4 个可能值)十分困难,因为微小的舍入误差会逐层累积,且离群值可能扭曲表示。Pingala-8 通过旋转权重以降低方差,并利用误差反馈确保权重总和保持准确,从而解决这一问题。

网格编码的作用

网格编码状态机使该格式能够使用比 2 比特通常允许的更大的有效码本。虽然它相比简单码本提供了显著优势,但消融研究表明,旋转和舍入步骤贡献了大部分质量提升。

性能与权衡

Pingala-8 提供了出色的压缩率和高准确率,但也存在权衡。解码过程比标准格式更慢,尤其是在提示处理方面,且该格式目前因依赖特定的 CUDA 内核而仅限于 NVIDIA GPU。

💬 Key Quotes

在每权重 2 比特下,每个权重可取 4 个值之一。每个权重被舍入到其最近的允许值,差值即为误差。两件事使这种误差造成伤害:它会累积,以及离群值。

对于任何构建 2 比特量化器的人来说,教训是:旋转和误差反馈舍入承载了大部分质量。网格记忆解释了已经接近的格式之间的大部分微小差距,而对与普通码本格式之间的巨大差距贡献甚微。

Pingala 的《Chandahsutra》是一部关于诗歌韵律的古梵语著作,列出了三个长或短音节的 8 种模式,即 ganas。我们的网格有 8 个状态,因此以他的名字命名该格式。

📊 Article Meta

AI Screening: 92

Source: DEV Community: machinelearning

Author: Genrius AI

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1857

Tags:

AI 与智能应用 , 阿里通义 , 量化 , 模型压缩 , Qwen3-4B

#AI 与智能应用# 阿里通义# 量化# 模型压缩# Qwen3-4B

文章评论(12)

青柠微凉22 天前

写得挺用心的,支持一下。

回复
星寻梦22 天前

有没有更详细的教程,期待后续。

回复
蓝光22 天前

点赞,必须点赞

回复
星知秋22 天前

实话,说的不明不白

回复
晨沐雨22 天前

这篇文章分析得很透彻,收藏了!

回复
龙文博22 天前

思路清晰,干货满满。

回复
墨沐雨22 天前

支持作者,持续关注中。

回复
星寻梦22 天前

讲解得很细致,新手也能看懂。

回复
石佳琪22 天前

看完了,收获满满,期待更多更新。

回复
一叶知秋22 天前

内容翔实,正好需要,先收藏再看。

回复
星知秋22 天前

刚好最近在找这方面的资料,太及时了。

回复
蓝归舟22 天前

看完了,收获满满,期待更多更新。

回复