我们在 12，000 份真实 RFQ 中对 35B LLM 与类型化决策模型进行了测试——置信度决定了胜者

📌 One-Sentence Summary

针对 35B LLM、类型化 API 和 421M 小模型的对比研究表明，对于安全自动化而言，模型校准能力和工作流策略比原始准确率更重要。

📝 Summary

作者详细描述了一项使用三种模型对 12，000 多份美国联邦 IT 招标进行分类的实验：这些模型分别是 Jev（一种类型化决策 API）、Qwen3.5-35B 和 Laya 421M。尽管所有模型的准确率各异，但 Jev 凭借其卓越的校准能力胜出，这使其能够在高覆盖率下保持 95% 的精确率边界。该研究强调，工作流策略——将模型标记视为视为属性而非阻断因素——可以在不牺牲输出质量的情况下显著增加自动化量。

💡 Main Points

校准比原始准确率更重要

Jev 的表现优于更大的 Qwen 模型是因为它的置信度评分经过了良好的校准，允许满足 95% 精确率要求的安全截断。

工作流策略影响自动化规模

将策略从根据标记进行阻断改为将标记记录为属性，使自动化比例从 26.6% 提高到 91.9%，同时保持了高精确率。

小模型有特定的应用场景

421M 的 Laya 模型显示出零运行时错误和低延迟，但缺乏可靠自动化边界所需的校准能力。

复杂任务中提示词工程的局限性

在该研究中，复杂的的问题结构和添加文本附件并未对顶层分类任务产生可衡量的改进。

💬 Key Quotes

模型能否告诉我们它的答案何时足够安全可以自动化——以及何时需要人工干预？

工作流策略可能比模型准确性的另一个维度更重要。

一个准确率稍高但校准糟糕的分类器将使你无法建立防御性的自动化边界。

📊 Article Meta

AI Screening： 86

Source： DEV Community: machinelearning

Author： Bhushan Kinge

Category： 人工智能

Language： 英文

Read Time： 7 min

Word Count： 1649

Tags：

AI 与智能应用 , AI 工程 , 机器学习 , LLM 推理优化 , 大语言模型 (LLM)