你的量化验收门缺少的那个数字

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 892026-10-18162 阅读💛 104 收藏
你的量化验收门缺少的那个数字

📌 One-Sentence Summary

对十个量化验收门的审计发现,没有一个使用依赖阈值的指标;一项人脸验证实验表明,沿用继承的相似度阈值会导致 int8 量化后误接受率飙升 3.5 倍,而准确率和 rank-1 几乎不变。

📝 Summary

文章审计了十份量化指南,发现每个验收门都由无阈值指标构成,如准确率、top-1、top-5、输出方差、延迟和内存。没有一个报告在实际决策阈值下的误接受率(FAR)或误拒绝率(FRR)。作者使用 Hailo 工具链将 ArcFace 人脸验证编码器量化为 int8,结果显示 precision@10 和 rank-1 几乎不变(0.978→0.972 和 0.990→0.985),但在继承的阈值 τ=0.2592 下,误接受从 10,000 对冒名对中的 30 例升至 104 例,误拒绝从 10,000 对真实对中的 582 例升至 745 例。两种错误率同时恶化,表明这是不同的 DET 曲线,而非沿同一曲线移动。作者认为这一失败是结构性的:阈值是拟合到 fp32 模型的常数,量化改变了分数分布,而验收门没有重新检查它。对首尾层进行选择性 16 位保护也无济于事。提出的修复方案是将 τ 下的 FAR 和 FRR 加入验收门,在量化模型上重新推导 τ,并将 τ 版本化后随模型产物一同发布。局限性已被详尽记录。

💡 Main Points

量化验收门在结构上对依赖阈值的失败视而不见,因为它们完全依赖无阈值指标。

在调查的十份指南中,每个验收门都使用准确率、top-1、top-5、输出方差、延迟或内存。没有一个报告在实际决策阈值下的 FAR 或 FRR,因此通过验收门的构建仍可能拥有严重失准的工作点。

在一项人脸验证实验中,int8 量化使继承阈值下的误接受率增至三倍,而排序指标几乎未动。

在 τ=0.2592 时,误接受从每 10,000 对冒名对中的 30 例升至 104 例(FAR 0.0104 对 0.0030),误拒绝从每 10,000 对真实对中的 582 例升至 745 例。precision@10 和 rank-1 的变化小于 0.01,因此验收门本会放行该构建。

两种错误率同时恶化,意味着量化产生了不同的 DET 曲线,而非沿同一曲线移动。

fp32 和 int8 的 DET 曲线在观测窗口内并不重合,因此没有任何单一阈值选择能恢复 fp32 的工作点。这推翻了「量化沿固定曲线以宽松换严格」的常见假设。

对敏感层进行选择性 16 位保护并未修复阈值偏移。

保护嵌入头、头加批归一化、输入主干或首尾层,都使误接受保持在 102–104,与完全 int8 无法区分。该启发式方法解决的是准确率问题,而非余弦阈值所测量的尺度问题。

修复方案是将 τ 下的 FAR 和 FRR 加入验收门,在量化模型上重新推导 τ,并将 τ 版本化后随模型产物一同发布。

在继承的 τ 下进行诊断读数可显示损害;阻断标准则在留出对上分别以各自重新推导的 τ 比较 fp32 和 int8。重新推导将误接受从 104 降至 44,但将误拒绝从 745 升至 959,因此修复是必要的,但并非没有代价。

💬 Key Quotes

那个零并非我挑选文档的偶然。那些指标评估的是模型,而决定接受还是拒绝的东西不是模型:它是包裹在模型外面的一个常数。

你并没有以严格换宽松。两种错误率同时恶化了。这不是一个工作点沿同一曲线滑动——而是一条不同的曲线。

唯一有帮助的是把阈值 τ 下的 FAR 和 FRR 放进验收门。

修复是必要的,但不充分,也并非没有代价。

📊 Article Meta

AI Screening: 89

Source: Towards Data Science

Author: Maxim Podstrechnyy

Category: 人工智能

Language: 英文

Read Time: 24 min

Word Count: 5895

Tags:

AI 与智能应用 , 模型评测与基准 , 量化技术 , 可观测性 , 量化

#AI 与智能应用# 模型评测与基准# 量化技术# 可观测性# 量化

文章评论(12)

石佳琪28 天前

刚好最近在找这方面的资料,太及时了。

回复
雪知秋28 天前

很有价值的分享,感谢整理。

回复
石佳琪28 天前

收藏了,以后慢慢研究。

回复
墨沐雨28 天前

看标题就点进来了,内容果然没让人失望。

回复
北岛渔夫28 天前

有没有更详细的教程,期待后续。

回复
空向阳28 天前

刚好最近在找这方面的资料,太及时了。

回复
月归舟28 天前

有没有更详细的教程,期待后续。

回复
星寻梦28 天前

讲解得很细致,新手也能看懂。

回复
山问津28 天前

支持作者,持续关注中。

回复
竹听风28 天前

实话,说的不明不白

回复
星知秋28 天前

点赞,必须点赞

回复
杨丽华28 天前

这篇文章分析得很透彻,收藏了!

回复