Agent自演进驶入“双轨时代”!openJiuwen首发TTSE经验学习框架

AI小蝌蚪行业资讯📡 量子位2026-11-11210 阅读💛 67 收藏

Agent自演进驶入“双轨时代”!openJiuwen首发TTSE经验学习框架

让每一次任务,都成为下一次进步的起点

允中 发自 凹非寺

量子位 | 公众号QbitAI

Agent越用越强,为什么还会被环境“绊倒”?

你的同事用Agent整理报表,一路顺畅。你用同样的模型、工具和流程,换成自己的文件,却开始反复试读、频繁返工。

模型没变,Harness没变,换个环境,为什么就不灵了?

文件位置不同、数据格式混杂、模板约束变化,都可能让原本有效的方法失效。模型提供推理能力,Harness组织执行流程,但Agent仍需判断:这里的环境是什么样的,过去的经验还适不适用?

这也揭示了Agent持续自我改进过程中一个容易被忽视的问题:Agent不仅要从任务中学会“怎么做”,还要判断这些经验在什么环境下仍然有效。

在RSI(Recursive Self-Improvement,递归自我改进)的持续优化过程中,Agent可以通过任务反馈改进执行方法、积累可复用经验。但如果环境认知没有同步更新,过去有效的经验也可能成为新的障碍:接口条件变了,还在重试旧调用;数据格式变了,还在沿用旧规则。

一次失败,究竟该改方法,还是该纠正对环境的认识?

Agent的新难题,藏着认知科学的老线索

认知科学对知识结构的研究,为区分这两类问题提供了启发:

1983年,认知科学家John R. Anderson在ACT-R相关理论研究中,系统讨论了人类知识中的两类重要形式:

  • 陈述性知识(Declarative Knowledge):描述“世界是什么样的”。例如,关闭的容器会遮挡内部物体,打开后才能观察。
  • 程序性知识(Procedural Knowledge):描述“应该如何行动”。例如,需要寻找多个同类物体时,找到第一个之后,还应继续检查其他可能的位置。

随后,Larry Squire等研究者从神经心理学上确认了这种分离有生物学基础——两类知识由不同脑区负责,学习速率和提取方式都不同。

将这一视角引入Agent,就能看到:认识环境与掌握做法,彼此关联,却需要不同的验证与更新方式。环境判断要核对是否符合现场事实,行动方法要检验在相应条件下是否有效。混淆两者,就可能把偶然成功的操作当成稳定规律,或在环境变化后继续沿用失效的方法。

沿着这一思路,openJiuwen在RSI方向的持续探索中,进一步提出TTSE(Two-Track Self-Evolution,双轨自演进)。

在此前发布的双维度RSI框架介绍中,openJiuwen已通过Harness+Artifacts双维度优化,让Agent能够基于真实任务反馈,持续改进工作方法与交付成果。而TTSE则进一步聚焦经验本身的可靠性与可复用性,不仅让Agent积累有效的执行方法,还要持续校正对环境的认识,避免经验在环境变化后失效。

为此,TTSE借鉴认知科学中对陈述性知识与程序性知识的区分,将任务中获得的经验分为两条轨道:

  • FACT(环境事实):持续核对和更新“这个环境是什么样的”。
  • TIP(条件式技巧):持续改进“在这些条件下应该怎么做”。

TTSE双轨框架:构建反馈驱动的经验自演进闭环

分清经验的类型,只是第一步。如何让Agent从任务反馈中持续学习,并将有效经验转化为下一轮执行的改进?

这也是RSI的核心思路:通过真实任务反馈驱动改进,并在后续执行中不断验证和优化。TTSE将这一思路落实到经验管理层面,通过分批执行任务,让已有经验持续接受新证据的检验,判断哪些经验值得保留、哪些需要修正或退役,再将更新后的经验用于下一轮任务。

框架由双轨知识表示、冷启动、在线增量演进、最终输出与评估四个部分组成,如下图所示:

① 双轨知识表示:让环境事实与执行方法各有依据

FACT用于描述环境本身的属性与规律,强调可直接验证,以及在适用场景下的跨任务稳定性;TIP用于描述特定任务条件下的执行方法,采用“在什么条件下,执行什么操作”的形式表达。

两类知识分别维护独立编号、呈现方式与证据追踪机制。这使每条经验都能被单独引用、核对和更新,也便于在执行出现问题时,追溯具体是哪条事实判断或操作建议产生了影响。

分类时,框架结合经验所描述的主体与作用进行判断(展开如何进行分类根据mechanism);难以确定的内容默认归入TIP,降低将未经充分验证的操作经验误当成环境事实的风险。

② 冷启动:从首批任务中归纳初始经验

TTSE从空规则库出发,由Agent执行首批任务(chunk 0),再根据执行轨迹分别归纳FACT与TIP,建立初始双轨经验库。

这一阶段以归纳为主。由于尚无历史规则参与执行,因此不进行旧规则的归责与退役,而是为后续演进建立第一批有任务证据支撑的经验。

③ 在线增量演进:在新任务中检验并修正已有经验

后续任务按批次推进。每一轮,Agent加载上一轮的FACT与TIP,利用已有经验执行当前批次任务,再根据执行轨迹和评估结果,依次完成四个环节:

  • 归因(Blame):分析失败轨迹,识别可能误导执行的规则,为经验修正定位对象。
  • 退役(Retire):将被归责的规则移入退役池,并保留原因、批次和时间等记录,使调整过程可追溯。
  • 矛盾分析与合成(Contradict / Synthesize):检查退役规则中的矛盾,尝试识别其中隐含的适用条件,将看似冲突的经验合成为条件更明确的TIP。
  • 归纳(Induce):对比成功与失败轨迹,或从成功轨迹中提炼有效经验,通过新增、修订、确认与移除等操作,更新双轨经验库。

Blame→Retire→Contradict/Synthesize→Induce在多个任务批次间循环运行,使经验持续接受新证据的检验:既更新对环境的认识,也调整相应条件下的执行方法。

④ 最终输出与评估:检验经验演进带来的实际收益

经过多轮增量演进,框架输出最终的FACT与TIP经验库,并在测试任务中评估其对准确率或任务表现的影响。

这套机制的核心,是让环境事实与执行方法分别沉淀、各自可追溯,并在持续执行中得到检验与修正。Agent每完成一批任务,都能将新的交互证据转化为下一轮可使用的经验,逐步形成从环境交互到知识更新、再到行动改进的闭环。

“但一个关键问题仍待回答:将环境事实与行动技巧分开演进,是否真的比传统的单轨经验管理更有效?”

从机制到实证:五大基准,验证TTSE双轨自演进的有效性

TTSE的方法论与实验结果已在论文A Two-Track Online Self-Evolution Framework for LLM Agents中展开研究。

为了验证双轨经验机制是否真正有效,研究团队在ALFWorld、ScienceWorld、GDPevo、SOPBench和PinchBench五个基准上进行了评测,每项实验均进行三次独立重复,以考察方法的实际收益与运行稳定性。

五大基准,呈现多维度增益

  • ALFWorld:成功率最高达到98.51%。在GLM-5上,TTSE成功率达到98.51%;在DeepSeek-V3.2上,成功率达到97.8%,较此前最优方法GraSP的83.6% 提升14.2个百分点,同时减少任务执行步数。
  • ScienceWorld:任务表现显著提升。MACRO Reward从0.7204提升至0.8534,Native Success从53.08%提升至73.46%,提高20.38个百分点。
  • GDPevo:双轨优于单轨。完整FACT+TIP方案的平均得分达到0.2616,约为零样本基线0.0947的2.8倍。仅使用TIP或FACT均未达到完整双轨方案的表现,验证了环境事实与行动技巧协同管理的价值。
  • SOPBench:与贝叶斯技能管理融合后进一步提升。总体成功率从基线的79.15% 提升至单轨方案的91.59%,并进一步达到双轨融合方案的94.58%,较单轨方案额外提升2.99个百分点。
  • PinchBench:真实世界任务中保持稳定增益。以非侵入方式将TTSE接入OpenClaw,在147个真实端到端任务上进行三次独立运行。双轨方案平均得分从0.7439提升至0.7822,增加3.83个百分点;三次运行的增益方向一致,运行极差也从3.33个百分点降至1.61个百分点。

这些结果覆盖具身交互、科学推理、企业运营、工业流程及真实世界端到端任务,表明TTSE的价值并不局限于某个特定模型或单一场景。

消融实验进一步回答:为什么必须双轨?

GDPevo的消融实验提供了更直接的证据:完整双轨方案优于只记录事实或只记录技巧的单轨方案。

原因在于,环境认知与行动策略承担着不同的职责。只有FACT,智能体可能知道环境的约束,却缺少合适的行动方法;只有TIP,智能体可能掌握操作技巧,却无法准确识别这些技巧成立的条件。只有将两者结合,才能同时回答「环境是什么样」和「在当前条件下应该怎么做」。

因此,双轨设计并非简单地将经验库拆成两部分,而是让不同类型的知识,按照各自的语义和适用条件进行归纳、验证与复用。

从跨模型、跨任务到真实世界评测,实验结果不仅验证了TTSE双轨经验机制的有效性,也进一步展示了RSI在经验学习层面的应用潜力:Agent可以在不改变模型参数的情况下,通过持续积累、验证与更新任务经验,逐步改善后续任务表现。

这也为TTSE从研究框架走向实际办公智能体产品提供了实证依据。

TTSE双轨自演进落地WorkSwarm

TTSE不仅在论文实验中验证了有效性,也已正式落地openJiuwen的WorkSwarm蜂群办公智能体。

想亲自体验TTSE?只需安装并启动WorkSwarm 0.2.7及以上版本,在设置中开启TTSE自演进开关,即可体验经验积累与复用带来的效率提升。

接下来,通过两个真实办公任务,一起来看看TTSE如何让Agent在实际执行中变得更快、更高效。

TTSE走进真实办公场景,让经验成为效率

在日常办公中,Agent已广泛应用于数据清洗与分析、文档编辑与整理、报表生成、信息提取及格式转换等任务。然而,面对不同的文件结构、数据格式和业务要求,Agent往往需要反复探索环境、尝试工具调用,并重新摸索任务的执行路径。

为了直观展示TTSE的实际效果,团队选取了Excel数据清洗和文档与表格整理两个典型办公场景,对比Agent在首次执行与注入经验后的表现。

从结果可以看到,两个场景均取得了不同程度的效率提升:

这些提升并非来自模型能力的变化,而是在所展示的对比任务中,Agent能够利用历史执行经验,更快识别环境约束并选择合适的处理方式。

那么,TTSE究竟沉淀了哪些经验,又是如何帮助Agent减少试错的?

案例一:Excel数据清洗——减少数据识别与处理试错

这类任务的难点不只是清洗数据,还包括定位输入文件、识别隐藏的数据格式问题,以及确定符合业务要求的去重规则。

首次执行时,Agent没有可复用的任务经验,需要自行探索输入文件位置、判断数据格式,并推导重复记录的处理规则。整个过程共发生57次工具调用,其中3次失败;总耗时6分22秒。

任务结束后,TTSE从真实执行轨迹中提炼出可复用的任务经验。它们不再只是对过去操作的记录,而是能够直接影响下一次执行的决策依据:

  • 快速定位输入素材。当用户没有明确说明文件位置时,优先检查workspace/input,直接寻找上游文件,避免在无关的任务目录中反复探索,也省去不必要的用户追问。
  • 深入识别数据问题。面对Excel中看似正常的日期、金额和文本,直接使用openpyxl检查原始存储值,识别文本型日期、货币符号、尾随空格等隐蔽问题,减少因读取方式不当导致的遗漏。
  • 复用经过验证的去重规则。按业务字段进行分组,保留最早日期记录,并记录删除数量,不再从头推导去重口径,减少重复判断与试错。

再次执行相似任务时,这些经验直接参与工具选择与处理决策。工具调用降至20次,失败调用降至1次,总耗时缩短至1分48秒。

案例二:文档与表格整理——减少文件探索与格式试错

与Excel数据清洗不同,这类任务的主要难点在于文件位置未知、CSV编码与分隔符不明确,以及Word模板结构复杂。首次执行时,Agent需要逐步探索文件、识别格式,并确定合适的模板处理方式。

在文档与表格整理任务中,Agent首次执行耗时1分49秒,共调用工具27次,发生2次工具调用失败。任务完成后,TTSE从真实执行轨迹中沉淀出一组环境事实与操作技巧。

再次执行时,Agent不再从零开始探索文件目录、试探CSV的读取方式,也不必等到文档生成后才发现模板替换问题。它能够直接复用已验证的环境经验,提前选择更合适的工具和处理路径。

第二次执行耗时缩短至1分26秒,工具调用降至18次,失败次数降至1次。整体耗时缩短约21.1%,工具调用减少33.3%,失败调用减少50%。

相比简单地记住过去执行过哪些操作,TTSE更进一步,让Agent同时积累对环境的认识,以及在特定条件下有效的执行方法。

从经验积累到能力提升,关键在于正确复用。

两个办公案例展示了TTSE在实际任务中的应用价值:Agent不必每次都从零探索,而是能够将历史任务中验证有效的经验,转化为后续执行的参考依据。

这正是RSI希望实现的持续改进方式:让每一次任务执行不仅产生交付成果,也有机会为下一次执行积累有效经验。TTSE则通过FACT与TIP的双轨机制,让这种经验积累更加可验证、可更新和可复用。

然而,这些收益是否只存在于特定任务中,还是能够在更广泛的办公任务中得到体现?

TTSE在办公基准中展现综合收益

为了进一步评估TTSE在综合办公场景中的表现,团队在业界开源榜单WorkBuddy Office Bench上对WorkSwarm接入TTSE的效果进行了测试。

其不仅在任务表现上有所提升,同时也有效降低了Token消耗与工具调用开销:评测结果显示,相较原生效果,任务表现提升3.81%,并且在输入Token消耗上降低1.70%,在输出Token消耗上降低30.09%,平均工具调用次数减少2次。

写在最后

我们正处在Agent从「一次性工具」走向「持续进化伙伴」的拐点。

RSI的核心价值,不只是让Agent完成更多任务,而是让它能够从每一次真实执行中获得反馈、积累经验,并将这些经验转化为持续改进的能力。

从Harness与Artifacts的双维度优化,到TTSE对环境事实与执行技巧的双轨演进,openJiuwen正在探索让智能体持续自我改进的不同路径:既能优化工作方法与交付成果,也能不断校正环境认知、沉淀可靠经验。

TTSE为其中的经验自演进提供了一种可验证、可追溯的实现机制,这让Agent不仅学会“怎么做”,还能理解“在什么环境下这样做才有效”,并在一次次任务执行中不断完善自身。

经验不该是过眼云烟。让Agent既学会「怎么做」,更学会「世界是什么样」,这是它走向长期自主的第一课。

学术论文:TTSE: A Two-Track Online Self-Evolution Framework for LLM Agents
论文原文:

TTSE双轨演进Rail已在WorkSwarm 0.2.8版本上线,感兴趣的用户可前往官网一键下载,开启经验自演进,立即体验:

WorkSwarm立即体验:

GitHub代码仓:

AtomGit代码仓:

如果你也在做Agent/LLM自演进/记忆与技能系统,欢迎在评论区聊聊:

你觉得Agent最该「记住」的,是一个技巧,还是一条关于环境的规律?

*本文系量子位获授权刊载,观点仅为原作者所有。

版权所有,未经授权不得以任何形式转载及使用,违者必究。

文章评论(12)

邱文博5 天前

作者写得真不错,学到了不少。

回复
月沐雨5 天前

刚好最近在找这方面的资料,太及时了。

回复
龙文博5 天前

这篇文章分析得很透彻,收藏了!

回复
雪知秋5 天前

很有价值的分享,感谢整理。

回复
星知秋5 天前

路过

回复
松听风5 天前

内容翔实,正好需要,先收藏再看。

回复
星寻梦5 天前

整理得太全面了,省了我不少时间。

回复
暮拾贝5 天前

整理得太全面了,省了我不少时间。

回复
龙文博5 天前

讲解得很细致,新手也能看懂。

回复
星寻梦5 天前

赞同,实践出真知。

回复
蓝归舟5 天前

这个比较实用,已转发给同事。

回复
风倚栏5 天前

实测过类似工具,作者说的基本属实。

回复