你的量化验收门缺少的那个数字

📌 One-Sentence Summary
对十个量化验收门的审计发现,没有一个使用依赖阈值的指标;一项人脸验证实验表明,沿用继承的相似度阈值会导致 int8 量化后误接受率飙升 3.5 倍,而准确率和 rank-1 几乎不变。
📝 Summary
文章审计了十份量化指南,发现每个验收门都由无阈值指标构成,如准确率、top-1、top-5、输出方差、延迟和内存。没有一个报告在实际决策阈值下的误接受率(FAR)或误拒绝率(FRR)。作者使用 Hailo 工具链将 ArcFace 人脸验证编码器量化为 int8,结果显示 precision@10 和 rank-1 几乎不变(0.978→0.972 和 0.990→0.985),但在继承的阈值 τ=0.2592 下,误接受从 10,000 对冒名对中的 30 例升至 104 例,误拒绝从 10,000 对真实对中的 582 例升至 745 例。两种错误率同时恶化,表明这是不同的 DET 曲线,而非沿同一曲线移动。作者认为这一失败是结构性的:阈值是拟合到 fp32 模型的常数,量化改变了分数分布,而验收门没有重新检查它。对首尾层进行选择性 16 位保护也无济于事。提出的修复方案是将 τ 下的 FAR 和 FRR 加入验收门,在量化模型上重新推导 τ,并将 τ 版本化后随模型产物一同发布。局限性已被详尽记录。
💡 Main Points
量化验收门在结构上对依赖阈值的失败视而不见,因为它们完全依赖无阈值指标。
在调查的十份指南中,每个验收门都使用准确率、top-1、top-5、输出方差、延迟或内存。没有一个报告在实际决策阈值下的 FAR 或 FRR,因此通过验收门的构建仍可能拥有严重失准的工作点。
在一项人脸验证实验中,int8 量化使继承阈值下的误接受率增至三倍,而排序指标几乎未动。
在 τ=0.2592 时,误接受从每 10,000 对冒名对中的 30 例升至 104 例(FAR 0.0104 对 0.0030),误拒绝从每 10,000 对真实对中的 582 例升至 745 例。precision@10 和 rank-1 的变化小于 0.01,因此验收门本会放行该构建。
两种错误率同时恶化,意味着量化产生了不同的 DET 曲线,而非沿同一曲线移动。
fp32 和 int8 的 DET 曲线在观测窗口内并不重合,因此没有任何单一阈值选择能恢复 fp32 的工作点。这推翻了「量化沿固定曲线以宽松换严格」的常见假设。
对敏感层进行选择性 16 位保护并未修复阈值偏移。
保护嵌入头、头加批归一化、输入主干或首尾层,都使误接受保持在 102–104,与完全 int8 无法区分。该启发式方法解决的是准确率问题,而非余弦阈值所测量的尺度问题。
修复方案是将 τ 下的 FAR 和 FRR 加入验收门,在量化模型上重新推导 τ,并将 τ 版本化后随模型产物一同发布。
在继承的 τ 下进行诊断读数可显示损害;阻断标准则在留出对上分别以各自重新推导的 τ 比较 fp32 和 int8。重新推导将误接受从 104 降至 44,但将误拒绝从 745 升至 959,因此修复是必要的,但并非没有代价。
💬 Key Quotes
那个零并非我挑选文档的偶然。那些指标评估的是模型,而决定接受还是拒绝的东西不是模型:它是包裹在模型外面的一个常数。
你并没有以严格换宽松。两种错误率同时恶化了。这不是一个工作点沿同一曲线滑动——而是一条不同的曲线。
唯一有帮助的是把阈值 τ 下的 FAR 和 FRR 放进验收门。
修复是必要的,但不充分,也并非没有代价。
📊 Article Meta
AI Screening: 89
Source: Towards Data Science
Author: Maxim Podstrechnyy
Category: 人工智能
Language: 英文
Read Time: 24 min
Word Count: 5895
Tags:
AI 与智能应用 , 模型评测与基准 , 量化技术 , 可观测性 , 量化
刚好最近在找这方面的资料,太及时了。
很有价值的分享,感谢整理。
收藏了,以后慢慢研究。
看标题就点进来了,内容果然没让人失望。
有没有更详细的教程,期待后续。
刚好最近在找这方面的资料,太及时了。
有没有更详细的教程,期待后续。
讲解得很细致,新手也能看懂。
支持作者,持续关注中。
实话,说的不明不白
点赞,必须点赞
这篇文章分析得很透彻,收藏了!