将数据库评分转化为 RL 奖励:使用 ThinkingBox 对智能体进行后训练

溪行者AI 前沿📡 BestBlogs·AI高分精选⭐ 922026-10-2394 阅读💛 245 收藏
将数据库评分转化为 RL 奖励:使用 ThinkingBox 对智能体进行后训练

📌 One-Sentence Summary

我们将 ThinkingBox-Bench 中可执行的终端状态检查用作 RL 微调的奖励,并根据离线策略相对难度筛选任务,从而提升智能体的可靠性,同时不牺牲覆盖率。

📝 Summary

这项工作展示了如何将 ThinkingBox-Bench 的二元评分信号改作 RL 微调的奖励函数。我们依据基础策略下的预估成功概率,选定一组固定任务,使智能体成功表现的可重复性显著提升(观察到 20/20),同时保持较高的整体覆盖率(pass@20)。经过微调的 Qwen3.8-27B 模型在每次尝试中都能成功完成的任务数量大幅增加,表明其行为正朝着更稳健、更可靠的方向转变。

💡 Main Points

基准测试中的可执行奖励

ThinkingBox-Bench 的终端状态检查会判断数据库是否符合预期状态,其二元结果可作为清晰、客观的 RL 微调奖励信号。这样一来,模型便能直接根据最终操作的正确性进行学习,而不必依赖近似或主观指标。

基于离线策略的相对难度

为尽可能提升训练效率,我们根据基础策略下的预估成功概率筛选了一部分任务。过于简单的任务(总能通过)或过于困难的任务(总是失败)提供的学习信号都很有限。我们聚焦于成功率居中的「恰到好处」任务,确保训练集包含足够的差异性,供优化器学习。

可靠性提升

微调显著提高了「观察到 20/20」这一指标,意味着模型如今能在每次尝试中都成功完成更多任务。这表明模型从随机成功转向稳定可靠,这对达到生产级水平的 AI 智能体至关重要。

💬 Key Quotes

我们构建 ThinkingBox,是为了识别那些明明还没完成却声称已经完成的智能体。

对于大多数任务,可执行检查可以直接根据最终数据库状态返回 1 或 0。这不只是评分器,也可以作为奖励函数。

难度取决于策略:对于当前模型来说,一项任务只有在模型学会它之前才算困难。

📊 Article Meta

AI Screening: 92

Source: Hugging Face - Blog

Author: Tuhin Kundu

Category: 人工智能

Language: 英文

Read Time: 16 min

Word Count: 3889

Tags:

AI 与智能应用 , 后训练 , 数据库 , 强化学习 , 模型训练与推理

#AI 与智能应用# 后训练# 数据库# 强化学习# 模型训练与推理

文章评论(12)

竹听风23 天前

讲解得很细致,新手也能看懂。

回复
南山客24 天前

很有价值的分享,感谢整理。

回复
一个橘子24 天前

实测过类似工具,作者说的基本属实。

回复
青柠微凉24 天前

很有价值的分享,感谢整理。

回复
蒋力24 天前

赞同,实践出真知。

回复
白向阳23 天前

收藏了,以后慢慢研究。

回复
黄小刚23 天前

这篇文章分析得很透彻,收藏了!

回复
石佳琪23 天前

支持作者,持续关注中。

回复
林观澜23 天前

这个比较实用,已转发给同事。

回复
拾贝者23 天前

很有价值的分享,感谢整理。

回复
林观澜23 天前

看完了,收获满满,期待更多更新。

回复
杨丽华23 天前

内容翔实,正好需要,先收藏再看。

回复