决策模型以英文为中心：我在日语环境下的测试与构建实践

📌 One-Sentence Summary

作者发现了多语言决策模型在日语中存在「位置先验」偏差，并推出了专门的 310M 参数日语决策模型 「sokudan」，该模型在序数问题上的表现优于通用模型。

📝 Summary

本文探讨了「系统 1」决策模型——这类模型无需生成 Token，即可直接针对特定类型问题（布尔值、选择题、评分题）返回概率。作者发现，像 laya-multilingual 这样的多语言模型在日语中存在「位置先验」偏差，尤其是在序数（评分）问题中倾向于避开第一个选项。为了解决这一问题，作者基于 ModernBERT-ja 开发了一个 310M 参数的模型 「sokudan」。虽然像 Lev 这样以英文为中心的大型模型在二元和选择任务中展现出强大的迁移能力，但 sokudan 在序数准确率方面表现更佳。此外，作者还提供了 typed-decisions 基准测试的日语翻译版本，并分享了关于训练数据偏差、种子值方差以及无标签呈现检查重要性的关键教训。

💡 Main Points

多语言决策模型在非英语语言中表现出显著的「位置先验」偏差。

测试显示，laya-multilingual 在日语序数问题中从未选择第一个等级；通过一项所有选项文本完全相同的无标签对照实验，证实了这一偏差。

sokudan 为日语决策任务提供了一个轻量级且专业化的替代方案。

sokudan 基于 310M 参数骨干网络构建，在日语商业消息处理上实现了高准确率，并解决了大型英文模型难以处理的序数位置偏差问题。

跨语言迁移能力因问题类型而异。

作者发现，「选择题」的准确率能几乎无损地从日语迁移到英语，而「是/否」（布尔值）能力则不能，因为后者需要针对具体语言进行校准。

严格的评估需要无标签对照和多个随机种子。

作者强调，单纯的准确率会掩盖呈现偏差，且仅对少数几个种子取平均值可能会产生误导，建议使用 16 个种子并进行精确的排列测试以确保可靠性。

💬 Key Quotes

一个读取内容而非位置的模型，应该均匀地分布其概率。任何偏好纯粹都是呈现方式导致的结果。

选择题的能力几乎原封不动地迁移。评分能力虽有所下降但依然有用。而「是/否」判断则崩溃并趋向于多数类。

一个小而专的模型才是真正的专用。

在你的模型上测量修复效果，而不是直接导入修复方案。

📊 Article Meta

AI Screening： 87

Source： DEV Community: machinelearning

Author： GeneLab_999

Category： 人工智能

Language： 英文

Read Time： 7 min

Word Count： 1716

Tags：

AI 与智能应用 , 模型训练与推理 , 机器学习 , AI 工程 , 模型评测与基准