通过纯整数运算消除 LLM 推理中的非确定性
📌 One-Sentence Summary
本文介绍了 DetLLM:该系统通过纯整数运算执行所有操作,消除 LLM 推理中的非确定性,在不同硬件平台上实现位级完全一致的输出,同时保持相近的困惑度,并通过内核优化大幅提升解码速度。
📝 Summary
Nathan Barry 探讨了 LLM 推理中的非确定性问题:由于浮点加法不满足结合律,同一提示词在不同运行或硬件上会产生不同输出。他提出了 DetLLM,该系统使用整数运算执行所有操作(int8 矩阵乘法、int32 logits),确保无论批次大小、设备或厂商如何,输出都能达到位级完全一致。该方法采用二进有理数尺度(m/2^k)进行量化,对每个 token 的激活值分别量化,以实现批次不变的量化,并为 KV 缓存值使用固定尺度。在 A100、H100、AMD EPYC、Intel Xeon 和 Apple M1 Pro 上进行的测试显示,9 次 fp16 运行产生了 9 种不同的哈希值,而 9 次整数运算运行产生了完全相同的哈希值。困惑度与 fp16 相当(WikiText2:20.72 vs 20.95);经过内核优化后,A100、batch 1 下的解码速度也从每秒 0.8 个 token 大幅提升至每秒 106.3 个 token。
💡 Main Points
浮点加法不满足结合律,导致 LLM 推理在不同批次大小和硬件平台上出现非确定性
GPU 内核会根据批次大小和问题形状,以不同顺序对数字求和;每一步的浮点舍入误差也会以不同方式累积,因此即使温度设为 0,同一提示词仍可能产生不同输出。
纯整数运算通过保证加法满足结合律和交换律,实现不同硬件上的位级完全一致输出
整数加法在数学上精确且与运算顺序无关,即 (a+b)+c = a+(b+c),因此可以消除导致非确定性的舍入误差。DetLLM 使用二进有理数尺度和预计算的正弦、余弦表,将这一方法应用于从矩阵乘法到 softmax 的所有操作。
DetLLM 在保持与 fp16 相近困惑度的同时,通过内核优化大幅提升解码速度
WikiText2 上的困惑度为 20.72,而 fp16 为 20.95;在 A100、batch 1 下,解码速度达到每秒 106.3 个 token(相比 eager 模式的 0.8),表明整数运算本身并不会降低模型质量。
跨设备测试验证了该方法在 4 种不同硬件架构上的有效性
在 A100、H100、AMD EPYC 7J13、Intel Xeon 8480+ 和 Apple M1 Pro 上进行的测试显示,9 种整数配置都产生了相同的哈希值 64430dd985f8,而 fp16 则产生了 9 种不同的哈希值,证明该方法能够实现与硬件无关的确定性。
💬 Key Quotes
「我们在一项真实的生产环境分类任务中,将微调后的 E2B 模型与前沿 API 进行了基准测试。它在不到 100ms 的时间内达到了相当的质量,成本约为后者的百分之一。」
「使用数十万个领域专属样本微调 Gemma4-E2B 后,其 F1 从 0.563 提升至 0.902,达到最佳专有模型的水平,而中位延迟仍为 35ms。」
「我们测试过的其他模型,在这两个指标上都远不及它。」
「当 RPM 达到数千时,使用简洁提示词的前沿模型,成本比单张自托管 GPU 高出两个数量级。」
「使用领域内数据进行微调,可以同时提升质量、延迟表现和成本效益。」
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: Hacker News - Newest: "LLM"
Author: shortlived
Category: 人工智能
Language: 英文
Read Time: 10 min
Word Count: 2493
Tags:
AI 与智能应用 , AI 工程 , 模型训练与推理 , AI 硬件与芯片 , LLM 推理优化
实测过类似工具,作者说的基本属实。
有没有更详细的教程,期待后续。
看完了,收获满满,期待更多更新。
支持作者,持续关注中。
收藏了,以后慢慢研究。
这篇文章分析得很透彻,收藏了!
看完了,收获满满,期待更多更新。
这篇文章分析得很透彻,收藏了!
内容翔实,正好需要,先收藏再看。
内容翔实,正好需要,先收藏再看。
收藏了,以后慢慢研究。
刚好最近在找这方面的资料,太及时了。