介绍 Boole-1.7B

📌 One-Sentence Summary

作者介绍了 Boole-1.7B，这是一种基于 Qwen3-1.7B 的 1 位量化版本，通过分组缩放实现了 BF16 基准性能的 85.9%。

📝 Summary

本文介绍了 Boole-1.7B，一个源自 Qwen3-1.7B 的 1 位大语言模型。它解决了 1 位量化的两个主要挑战：共享幅度引起的信息丢失以及尺度带来的存储开销。通过使用分组缩放方法，该模型在显著压缩的同时，在十项基测试中保持了 50.55 的得分。论文与其他模型和量化方法进行了对比分析，证明其在每 GB 智能方面处于前沿。

💡 Main Points

1 位量化面临两个主要障碍

1 位权重仅存储符号（+1 或 -1），这丢弃了幅度信息，而添加尺度来恢复这些信息可能会消耗大量存储，从而抵消量化的优势。

分组缩放最小化了信息丢失

通过在一组权重（g）上共享单一尺度，模型可以表示相对幅度。作者表明，最佳共享尺度通常是该组内权重的平均幅度。

尺度开销对组大小敏感

在大小为 32 的组中使用 16 位尺度，会为每个权重增加 0.5 比特，这占 1 位模型存储空间的的 33%，而 8 位模型的该比例仅为 6%。

Boole-1.7B 在同类模型中极具竞争力

该模型在十项基准测试中达到了 BF16 基准性能的 85.9%，并在智能/存储比特上优于 Bonsai-1.7B 等模型。

💬 Key Quotes

1 位量化的困难点在于两点：共享一个幅度会丢失信息，而尺度本身会占用存储空间。

最佳共享尺度是组的平均幅度。

将尺度数量增加四倍换来的不到一个百分点的性能提升。

📊 Article Meta

AI Screening： 87

Source： Hacker News - Newest: "LLM"

Author： d7chong

Category： 人工智能

Language： 英文

Read Time： 10 min

Word Count： 2437

Tags：

AI 与智能应用 , AI 工程 , 量化技术 , 阿里通义 , 大语言模型