Laya 的 0.1 温度在加载时被钳制，但文件中并非如此，导致 ONNX 端口继承了它

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-09-261018 阅读💛 175 收藏

📌 One-Sentence Summary

Laya 模型的温度钳制修复仅存在于加载器代码中，而非 checkpoint 文件，导致像 edgejev 这样的 ONNX 端口继承了无效的低温，这会大幅膨胀置信度分数，而不影响准确率。

📝 Summary

本文调查了开源 Laya 决策模型中一个微妙的校准 bug。虽然 Laya v0.3.5 引入了运行时温度钳制（将 softmax 温度强制在[0.5， 5.0]范围内），但该修复仅在通过 Python Agent 加载时应用，导致 checkpoint 的 rl_agent_config.json 中仍保留原始无效值（0.10058）。因此，像 edgejev（一个 ONNX 端口）这样的下游工具读取原始文件并应用未钳制的温度，将 logits 乘以约 10 倍。这导致错误答案出现严重过度自信的概率（例如 0.99 而不是 0.24），而准确率保持不变。作者通过实验数据展示了这一点：在 0.9 的置信度阈值下，有 bug 的端口在 14 个错误答案中通过了 10 个，而修复版本只有 3 个。这篇文章强调了修复仅存在于加载器而非数据文件中的危险，并提供了检测此类配置不匹配的脚本。

💡 Main Points

仅运行时的修复不会传播到序列化产物或替代运行时。

Laya 的温度钳制在 Python 加载器逻辑（clamp_temperature）中实现。由于 Hugging Face Hub 上的底层 JSON 配置文件仍包含无效值（0.10058），任何直接读取该文件的工具（如 ONNX 导出器 edgejev）都会完全绕过安全检查。

校准错误可能悄悄破坏置信度可靠性，而不影响准确率。

实验显示，在所有三种配置（修复版 Laya、原始 Laya、edgejev）中，argmax 预测（准确率）完全相同。然而，概率分布被扭曲：原始温度导致模型对错误答案输出约 0.99 的置信度，使得标准的置信度阈值无法用于过滤幻觉。

构建/导出期间的警告信息常被忽略或在下游推理管道中丢失。

尽管 edgejev 通过 Laya 加载 checkpoint 并触发了 RuntimeWarning，但它仍继续将原始值写入自己的配置。在实际推理过程中，不会发出任何警告，这意味着最终用户收到高置信度但校准错误的输出，且没有底层问题的指示。

验证应针对用于决策的具体指标，而不仅仅是最终答案。

标准单元测试通常检查模型是否选择了正确选项（argmax）。为了捕获校准 bug，开发者必须针对已知真值测试概率值本身，特别是在使用置信度阈值进行人在回路系统或自动操作时。

💬 Key Quotes

「在数据加载时应用的修复只修复了加载器。」

「测试你所依据的数字，而不是答案。」