你的分类器说 0.97,在 .NET 10 中这个数字有六种说谎方式

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-02604 阅读💛 31 收藏
你的分类器说 0.97,在 .NET 10 中这个数字有六种说谎方式

📌 One-Sentence Summary

本文揭示了 .NET 10 中关于分类器置信度分数的六种常见误解,并提供了实用的代码解决方案,通过对数概率、温度缩放和 Wilson 置信边界来正确衡量和校准模型预测。

📝 Summary

文章批判性地审视了分类器置信度分数可能具有误导性的问题,并列举了开发者在构建自动路由系统时遇到的六种具体「谎言」。文章论证了模型并不会自然输出置信度值,且自我报告的概率并不可靠。作者展示了如何从 token 对数概率中提取真实的标签分布、正确处理多 token 标签、分离不同的概率质量桶、应用温度缩放进行校准、使用 Wilson 上界进行阈值选择,以及在模型更新中保持校准。文章提供了使用 Microsoft.Extensions.AI 的具体 .NET 10 代码示例,并包含一种故障关闭策略方法,即任何检测到的问题都会将条目路由至人工审核,并附有可追溯的原因。

💡 Main Points

模型不会自然输出置信度分数——应改用 token 对数概率

聊天模型生成的是文本 token,而非置信度值。真正的信号来自通过 logprobs 参数获取的对数概率,它揭示了第一个 token 位置上的实际标签分布。

必须使用模型的分词器对标签进行 lint 检查,确保单 token 表示

多 token 标签或大小写敏感变体(如 refund 与 Refund)会造成测量问题。一个启动时的 linter 会验证每个标签在模型词表中映射到单个 token。

分离标签质量、菜单外质量和未见质量,以正确计算置信度

简单地归一化最高标签概率会忽略拒绝 token 和分布外输入。保留三个独立的桶可以防止将不确定的输入误分类为高置信度预测。

应用温度缩放来校准模型置信度分数

现代语言模型通常校准不佳。温度缩放在 softmax 之前将 logits 除以一个拟合的标量 T,在不改变准确率或预测标签的情况下改善校准。

使用 Wilson 上界而非原始错误率进行阈值选择

小样本上的原始错误率具有误导性。Wilson 置信区间提供了统计上可靠的上界,防止对稀有类别做出过度自信的自动化承诺。

将校准固定到特定的模型快照、提示词和标签菜单

温度和阈值与特定的模型版本和配置绑定。模型别名可能会静默更改底层快照,使校准失效。系统必须跟踪并验证所服务的快照 ID。

💬 Key Quotes

分类器有 97% 的置信度,所以我们自动路由它。97% 意味着什么?……意味着它很可能是对的?

它并没有。聊天模型写的是「invoice」,而不是「invoice, 71%」

真正的信号是 token 对数概率

期望校准误差从 0.053 降至 0.014,T = 2.02,而准确率完全没有变化

在 40 个被接受的条目中零错误,其 Wilson 上界仍约为 8.8%

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: MICHAEL-MAURICE

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1552

Tags:

AI 与智能应用 , 机器学习 , AI 工程 , 模型训练与推理 , AI 安全与对齐

#AI 与智能应用# 机器学习# AI 工程# 模型训练与推理# AI 安全与对齐

文章评论(12)

竹听风13 天前

很有价值的分享,感谢整理。

回复
晨寻梦13 天前

这个比较实用,已转发给同事。

回复
陈皮话梅糖13 天前

思路清晰,干货满满。

回复
武磊13 天前

很有价值的分享,感谢整理。

回复
三分糖去冰13 天前

支持作者,持续关注中。

回复
星寻梦13 天前

讲解得很细致,新手也能看懂。

回复
蓝归舟13 天前

看完了,收获满满,期待更多更新。

回复
曹浩13 天前

不错不错,已加入书签。

回复
陈皮话梅糖13 天前

楼主辛苦了,内容很有参考价值。

回复
墨沐雨13 天前

收藏了,以后慢慢研究。

回复
雪知秋13 天前

赞同,实践出真知。

回复
林观澜13 天前

刚好最近在找这方面的资料,太及时了。

回复