通过纯整数运算消除 LLM 推理中的非确定性

蓝旅人行业资讯📡 BestBlogs·全站精选⭐ 902026-11-14640 阅读💛 294 收藏
通过纯整数运算消除 LLM 推理中的非确定性

📌 One-Sentence Summary

本文介绍了 DetLLM:该系统通过纯整数运算执行所有操作,消除 LLM 推理中的非确定性,在不同硬件平台上实现位级完全一致的输出,同时保持相近的困惑度,并通过内核优化大幅提升解码速度。

📝 Summary

Nathan Barry 探讨了 LLM 推理中的非确定性问题:由于浮点加法不满足结合律,同一提示词在不同运行或硬件上会产生不同输出。他提出了 DetLLM,该系统使用整数运算执行所有操作(int8 矩阵乘法、int32 logits),确保无论批次大小、设备或厂商如何,输出都能达到位级完全一致。该方法采用二进有理数尺度(m/2^k)进行量化,对每个 token 的激活值分别量化,以实现批次不变的量化,并为 KV 缓存值使用固定尺度。在 A100、H100、AMD EPYC、Intel Xeon 和 Apple M1 Pro 上进行的测试显示,9 次 fp16 运行产生了 9 种不同的哈希值,而 9 次整数运算运行产生了完全相同的哈希值。困惑度与 fp16 相当(WikiText2:20.72 vs 20.95);经过内核优化后,A100、batch 1 下的解码速度也从每秒 0.8 个 token 大幅提升至每秒 106.3 个 token。

💡 Main Points

浮点加法不满足结合律,导致 LLM 推理在不同批次大小和硬件平台上出现非确定性

GPU 内核会根据批次大小和问题形状,以不同顺序对数字求和;每一步的浮点舍入误差也会以不同方式累积,因此即使温度设为 0,同一提示词仍可能产生不同输出。

纯整数运算通过保证加法满足结合律和交换律,实现不同硬件上的位级完全一致输出

整数加法在数学上精确且与运算顺序无关,即 (a+b)+c = a+(b+c),因此可以消除导致非确定性的舍入误差。DetLLM 使用二进有理数尺度和预计算的正弦、余弦表,将这一方法应用于从矩阵乘法到 softmax 的所有操作。

DetLLM 在保持与 fp16 相近困惑度的同时,通过内核优化大幅提升解码速度

WikiText2 上的困惑度为 20.72,而 fp16 为 20.95;在 A100、batch 1 下,解码速度达到每秒 106.3 个 token(相比 eager 模式的 0.8),表明整数运算本身并不会降低模型质量。

跨设备测试验证了该方法在 4 种不同硬件架构上的有效性

在 A100、H100、AMD EPYC 7J13、Intel Xeon 8480+ 和 Apple M1 Pro 上进行的测试显示,9 种整数配置都产生了相同的哈希值 64430dd985f8,而 fp16 则产生了 9 种不同的哈希值,证明该方法能够实现与硬件无关的确定性。

💬 Key Quotes

「我们在一项真实的生产环境分类任务中,将微调后的 E2B 模型与前沿 API 进行了基准测试。它在不到 100ms 的时间内达到了相当的质量,成本约为后者的百分之一。」

「使用数十万个领域专属样本微调 Gemma4-E2B 后,其 F1 从 0.563 提升至 0.902,达到最佳专有模型的水平,而中位延迟仍为 35ms。」

「我们测试过的其他模型,在这两个指标上都远不及它。」

「当 RPM 达到数千时,使用简洁提示词的前沿模型,成本比单张自托管 GPU 高出两个数量级。」

「使用领域内数据进行微调,可以同时提升质量、延迟表现和成本效益。」

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: Hacker News - Newest: "LLM"

Author: shortlived

Category: 人工智能

Language: 英文

Read Time: 10 min

Word Count: 2493

Tags:

AI 与智能应用 , AI 工程 , 模型训练与推理 , AI 硬件与芯片 , LLM 推理优化

#AI 与智能应用# AI 工程# 模型训练与推理# AI 硬件与芯片# LLM 推理优化

文章评论(12)

星寻梦1 天前

实测过类似工具,作者说的基本属实。

回复
墨沐雨1 天前

有没有更详细的教程,期待后续。

回复
风拾光1 天前

看完了,收获满满,期待更多更新。

回复
竹听风1 天前

支持作者,持续关注中。

回复
风拾光1 天前

收藏了,以后慢慢研究。

回复
空向阳1 天前

这篇文章分析得很透彻,收藏了!

回复
一个橘子1 天前

看完了,收获满满,期待更多更新。

回复
星知秋1 天前

这篇文章分析得很透彻,收藏了!

回复
杨丽华1 天前

内容翔实,正好需要,先收藏再看。

回复
风拾光1 天前

内容翔实,正好需要,先收藏再看。

回复
林拾贝1 天前

收藏了,以后慢慢研究。

回复
邱文博1 天前

刚好最近在找这方面的资料,太及时了。

回复