SMITH:面向大语言模型智能体的工具创建与使用联合优化

📌 One-Sentence Summary
SMITH 是一个强化学习框架,联合训练单一 LLM 策略同时编写和调用工具,让 4B 的 Qwen3 模型在留出任务和域外任务上击败了远更大的工具编写者和推理时脚手架。
📝 Summary
SMITH(Schema-grounded Multi-task Iterative Tool Honing,基于模式的多任务迭代工具打磨)针对现有工具创建系统的一个结构性缺陷:冻结的 LLM 在推理时编写工具,而另一个更弱的模型使用它们,因此编写者永远无法得知其模式是否真正可调用。SMITH 改为在两种交错的 rollout 类型上训练单一策略——构建(从四个示例中推断出可复用的 Python 函数及 JSON schema,并在十六个更难的留出问题上验证)和使用(仅凭 schema 从工具池中调用工具,带两个干扰项,五轮内完成)。三条奖励轴保持独立,使每种失败模式获得各自的梯度:格式奖励针对格式良好的代码/schema 对,基于执行的评估奖励来自必须实际调用工具的评估模型,LLM 评判奖励针对代码正确性和 schema 质量。评估者和评判者会定期与策略重新同步,以打破自我评判的循环。在 13 个 Reasoning-Gym 程序化任务上用 DAPO 训练后,4B 的 Qwen3 在未见任务上达到 79.9 的宏平均,领先于未训练的 30B-A3B 工具编写者,且输出 token 数比思维链少约 32 倍。工具可跨规模迁移:冻结的 350M 消费者模型从 11.6 提升到 42.9 准确率,与八十倍大的编写者相当,且该方案无需修改即可提升 Qwen3-8B 和 Granite-3.3-8B。
💡 Main Points
将工具编写者与工具使用者解耦,消除了唯一能告诉编写者其 schema 不可用的信号。
现有系统(LATM、CRAFT、TroVE、KTCE)提示冻结的 LLM 在推理时合成工具,而由另一个更弱的模型调用它们;模糊的 schema 会导致错误调用,但梯度从未回流到编写者。SMITH 通过让同一策略编写并随后调用每个工具来闭合这一循环。
将格式、执行和评判奖励保持为独立轴,使每种失败模式贡献各自的梯度,而非被平均掉。
格式错误的代码/schema 对会以零奖励终止 rollout;评估奖励仅从通过评估模型真实工具调用得到的答案中计算;评判奖励直接惩罚语法错误,并在 schema/代码不匹配时将分数减半。将这些合并为单一标量会模糊不同的纠正信号。
用 SMITH 训练的 4B 模型在真正留出的任务上超越了远更大的工具编写者和精心设计的推理时脚手架。
SMITH 在未见任务上达到 79.9 宏平均,而 Qwen3-30B-A3B 上的 LATM 为 74.1,CRAFT 为 76.5,同时输出 token 数比标准思维链少约 32 倍。ReTool 等蒸馏基线在已见任务上领先(92.2),但在未见任务上下降近 30 分,表明对演示者分布过拟合。
RL 训练的 4B 编写者所写的工具编码了可复用的解决方案,可在模型规模间双向迁移。
将其与冻结的 LFM2.5-350M 消费者配对,留出准确率从 11.6 提升到 42.9,与未训练的 Qwen3-30B-A3B 编写者的 41.5 相当。反之,将 SMITH 的工具与更强的 Qwen3-30B-A3B 消费者配对,也击败了同一 30B 模型为自己编写工具,将任务加权总分从 70.2 提升到 76.6。
联合训练,而非专家构建者加专家使用者,才是有效成分。
消融实验显示,单独训练的 30B-A3B 构建者与单独训练的 4B 工具使用专家配对(解耦创建/使用)在未见 RG 上得分为 58.9,低于仅训练工具创建的单一模型(68.8)。只有完整目标,在单一策略中解耦执行和评判奖励,才能达到最佳综合得分。
💬 Key Quotes
工具增强的语言模型受限于人类愿意编写的 API;现有工具创建系统通过在推理时提示冻结的 LLM 来修补这一问题,使编写工具的模型与使用工具的模型解耦,没有任何信号表明它产生的 schema 是它实际能调用的 schema。
由于同一模型既编写又随后调用每个工具,模糊或损坏的 schema 会被直接惩罚,这是推理时提示无法提供的反馈循环。
仅对简单归纳示例进行模式匹配的工具得分接近零;只有真正可复用的抽象才能存活。
将 RL 训练的 4B 编写者的工具与冻结的 LFM2.5-350M 消费者配对,将其留出准确率从 11.6 提升到 42.9,与八十倍大的工具编写者相当。
更大的工具使用者并不会使其自己编写的工具更可取。
📊 Article Meta
AI Screening: 88
Source: Hacker News - Newest: "LLM"
Author: blackcat201
Category: 人工智能
Language: 英文
Read Time: 11 min
Word Count: 2673
Tags:
AI 与智能应用 , 强化学习 , 后训练 , 模型训练与推理 , AI Agent
很有价值的分享,感谢整理。
思路清晰,干货满满。
点赞,必须点赞
内容翔实,正好需要,先收藏再看。
楼主辛苦了,内容很有参考价值。
看标题就点进来了,内容果然没让人失望。
思路清晰,干货满满。
看标题就点进来了,内容果然没让人失望。
点赞,必须点赞
实话,说的不明不白
讲解得很细致,新手也能看懂。
这篇文章分析得很透彻,收藏了!