我们在 12,000 份真实 RFQ 中对 35B LLM 与类型化决策模型进行了测试——置信度决定了胜者

📌 One-Sentence Summary
针对 35B LLM、类型化 API 和 421M 小模型的对比研究表明,对于安全自动化而言,模型校准能力和工作流策略比原始准确率更重要。
📝 Summary
作者详细描述了一项使用三种模型对 12,000 多份美国联邦 IT 招标进行分类的实验:这些模型分别是 Jev(一种类型化决策 API)、Qwen3.5-35B 和 Laya 421M。尽管所有模型的准确率各异,但 Jev 凭借其卓越的校准能力胜出,这使其能够在高覆盖率下保持 95% 的精确率边界。该研究强调,工作流策略——将模型标记视为视为属性而非阻断因素——可以在不牺牲输出质量的情况下显著增加自动化量。
💡 Main Points
校准比原始准确率更重要
Jev 的表现优于更大的 Qwen 模型是因为它的置信度评分经过了良好的校准,允许满足 95% 精确率要求的安全截断。
工作流策略影响自动化规模
将策略从根据标记进行阻断改为将标记记录为属性,使自动化比例从 26.6% 提高到 91.9%,同时保持了高精确率。
小模型有特定的应用场景
421M 的 Laya 模型显示出零运行时错误和低延迟,但缺乏可靠自动化边界所需的校准能力。
复杂任务中提示词工程的局限性
在该研究中,复杂的的问题结构和添加文本附件并未对顶层分类任务产生可衡量的改进。
💬 Key Quotes
模型能否告诉我们它的答案何时足够安全可以自动化——以及何时需要人工干预?
工作流策略可能比模型准确性的另一个维度更重要。
一个准确率稍高但校准糟糕的分类器将使你无法建立防御性的自动化边界。
📊 Article Meta
AI Screening: 86
Source: DEV Community: machinelearning
Author: Bhushan Kinge
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1649
Tags:
AI 与智能应用 , AI 工程 , 机器学习 , LLM 推理优化 , 大语言模型 (LLM)
点赞,必须点赞
作者写得真不错,学到了不少。
很有价值的分享,感谢整理。
这篇文章分析得很透彻,收藏了!
路过
很有价值的分享,感谢整理。
这篇文章分析得很透彻,收藏了!
实测过类似工具,作者说的基本属实。
楼主辛苦了,内容很有参考价值。
看完了,收获满满,期待更多更新。
点赞,必须点赞
刚好最近在找这方面的资料,太及时了。