同一模型,不同智能体框架:CUGA、Hermes 与 Deep Agents——何时选择 CUGA?

📌 One-Sentence Summary
本文使用同一个 GLM-5.3-flash 模型,在 90 项 AppWorld 任务上比较了 3 种智能体框架(CUGA、Hermes、Deep Agents),结果显示框架选择会显著影响表现(任务完成率从 30% 到 81%),并指出 CUGA 专为可强制执行策略的企业自动化而设计。
📝 Summary
本文介绍了一项受控实验:使用同一个 GLM-5.3-flash 模型,在 30 个场景、共 90 项 AppWorld 任务上比较 3 种智能体框架——CUGA(IBM 的可配置通用智能体)、Hermes(Nous Research)和 Deep Agents(LangChain)。结果显示,各框架的表现差异显著:CUGA 的任务完成率为 81.1%,场景通过率为 66.7%;Hermes 分别为 46.7% 和 26.7%;Deep Agents 则分别只有 30.0% 和 6.7%。分析认为,这些差异源于各框架的特定功能,例如 CUGA 的任务拆解、执行前验证和自动反思。文章强调,对于需要强制执行规则并在组织边界内部署的企业应用场景,CUGA 的策略层将业务规则从提示词转移到运行时,从而真正强制执行规则;这一点使其区别于其他更适合个人助理或长篇研究任务的框架。
💡 Main Points
框架选择会显著影响智能体表现
一项使用相同模型的受控实验显示,任务完成率会因框架选择而在 30% 至 81% 之间变化。在 90 项 AppWorld 任务中,CUGA 的完成率为 81.1%,Hermes 为 46.7%,Deep Agents 为 30.0%。
CUGA 专为可强制执行策略的企业自动化而设计
Hermes 面向个人助理,Deep Agents 面向长篇研究;而 CUGA 在 4 个运行时环节实施策略控制:意图防护、操作手册、工具审批和工具防护。它将规则从系统提示词转移到智能体框架中,使规则得到实际执行,而不只是提供引导。
CUGA 的架构支持稳定且符合规则的企业运营
任务拆解、为每个步骤配置聚焦的工具、执行前验证和自动反思等功能,可以减少模型需要做出的决策;策略层则确保付款审批和个人身份信息处理等业务规则在运行时得到执行。CUGA 还支持部署在主权云和气隙隔离环境中。
💬 Key Quotes
「有近 200 种智能体框架可供选择。我们让其中 3 种框架使用同一个开放权重模型,完成 90 项 AppWorld 任务;仅更换框架,任务完成率就从 30% 变成了 81%。」
「对于企业应用,CUGA 还提供了这项基准测试未涉及的能力:由框架强制执行规则,并在你自己的边界内进行部署。」
「最有参考价值的数字是 SGC。只有当一个场景的 3 个变体全部通过时,该场景才算通过,因此 SGC 衡量的是一致性,而不是侥幸成功的一次运行。」
「引导机制会影响模型的行为,但审批和 ToolGuards 由运行时强制执行。付款审批和个人身份信息处理等规则应归入后者,这样无论模型做出什么决定,这些规则都能得到遵守。」
📊 Article Meta
AI Screening: 88
Source: Hugging Face - Blog
Author: Sami Marreed, Anupama Murthi, Vinod Muthusamy, Ankita Naik, Segev Shlomov, Jayaram Radhakrishnan, Aminat A, Ayhan Sebin, Hamid Adebayo, Erez Bilgory, Asaf Adi, Jim Laredo, Merve Unuvar
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1471
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , AI 工作流 , AI 产品与应用
这个观点很中肯,深有同感。
很有价值的分享,感谢整理。
路过
有没有更详细的教程,期待后续。
实话,说的不明不白
楼主辛苦了,内容很有参考价值。
很有价值的分享,感谢整理。
支持作者,持续关注中。
不错不错,已加入书签。
这个观点很中肯,深有同感。
实话,说的不明不白
赞同,实践出真知。