你的分类器说 0.97,在 .NET 10 中这个数字有六种说谎方式

📌 One-Sentence Summary
本文揭示了 .NET 10 中关于分类器置信度分数的六种常见误解,并提供了实用的代码解决方案,通过对数概率、温度缩放和 Wilson 置信边界来正确衡量和校准模型预测。
📝 Summary
文章批判性地审视了分类器置信度分数可能具有误导性的问题,并列举了开发者在构建自动路由系统时遇到的六种具体「谎言」。文章论证了模型并不会自然输出置信度值,且自我报告的概率并不可靠。作者展示了如何从 token 对数概率中提取真实的标签分布、正确处理多 token 标签、分离不同的概率质量桶、应用温度缩放进行校准、使用 Wilson 上界进行阈值选择,以及在模型更新中保持校准。文章提供了使用 Microsoft.Extensions.AI 的具体 .NET 10 代码示例,并包含一种故障关闭策略方法,即任何检测到的问题都会将条目路由至人工审核,并附有可追溯的原因。
💡 Main Points
模型不会自然输出置信度分数——应改用 token 对数概率
聊天模型生成的是文本 token,而非置信度值。真正的信号来自通过 logprobs 参数获取的对数概率,它揭示了第一个 token 位置上的实际标签分布。
必须使用模型的分词器对标签进行 lint 检查,确保单 token 表示
多 token 标签或大小写敏感变体(如 refund 与 Refund)会造成测量问题。一个启动时的 linter 会验证每个标签在模型词表中映射到单个 token。
分离标签质量、菜单外质量和未见质量,以正确计算置信度
简单地归一化最高标签概率会忽略拒绝 token 和分布外输入。保留三个独立的桶可以防止将不确定的输入误分类为高置信度预测。
应用温度缩放来校准模型置信度分数
现代语言模型通常校准不佳。温度缩放在 softmax 之前将 logits 除以一个拟合的标量 T,在不改变准确率或预测标签的情况下改善校准。
使用 Wilson 上界而非原始错误率进行阈值选择
小样本上的原始错误率具有误导性。Wilson 置信区间提供了统计上可靠的上界,防止对稀有类别做出过度自信的自动化承诺。
将校准固定到特定的模型快照、提示词和标签菜单
温度和阈值与特定的模型版本和配置绑定。模型别名可能会静默更改底层快照,使校准失效。系统必须跟踪并验证所服务的快照 ID。
💬 Key Quotes
分类器有 97% 的置信度,所以我们自动路由它。97% 意味着什么?……意味着它很可能是对的?
它并没有。聊天模型写的是「invoice」,而不是「invoice, 71%」
真正的信号是 token 对数概率
期望校准误差从 0.053 降至 0.014,T = 2.02,而准确率完全没有变化
在 40 个被接受的条目中零错误,其 Wilson 上界仍约为 8.8%
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: MICHAEL-MAURICE
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1552
Tags:
AI 与智能应用 , 机器学习 , AI 工程 , 模型训练与推理 , AI 安全与对齐
很有价值的分享,感谢整理。
这个比较实用,已转发给同事。
思路清晰,干货满满。
很有价值的分享,感谢整理。
支持作者,持续关注中。
讲解得很细致,新手也能看懂。
看完了,收获满满,期待更多更新。
不错不错,已加入书签。
楼主辛苦了,内容很有参考价值。
收藏了,以后慢慢研究。
赞同,实践出真知。
刚好最近在找这方面的资料,太及时了。