多智能体自我监督（MASS）

📌 One-Sentence Summary

多智能体自我监督（MASS）通过优化多智能体工作流，并将多智能体集体执行轨迹蒸馏回共享模型中，在无需人工干预的情况下实现了 LLM 的递归自我改进。

📝 Summary

由加州大学伯克利分校与 Sakana AI 的研究人员提出的多智能体自我监督（MASS），构建了一个同构递归自我改进（RSI）框架。在该框架中，单个语言模型在不可验证的研究任务中同时担任执行者、工作流优化器和评估者。在内循环中，优化器在评估者反馈的指导下，迭代进化由角色、指令、契约和执行跳数组成的多智能体工作流。在外循环中，优胜工作流在多个随机种子下运行，经评估者排序后，通过剥离工作流指令的 LoRA 微调更新基座模型，以强制模型实现内在协调能力。以 Qwen3.6-27B 为起点经过两次迭代，该模型在保留任务上的胜率提升至 69.9%，并在多个科学基准测试中显著提高了每 token 得分效率，展示了在优化、评估与执行之间的跨角色泛化能力。

💡 Main Points

MASS 通过让单一模型同时担任执行者、优化器和评估者来实现同构 RSI。

为了解决前沿不可验证任务中人工评估稀缺的问题，共享模型在内循环中搜索最优团队工作流，并在外循环中将成功的执行轨迹蒸馏回自身权重中。

仅在执行轨迹上训练即可泛化至优化与评估角色。

尽管微调仅使用任务解决对话来更新模型，但进化后的模型在工作流发现方面也变得更快、更有效，并且与外部前沿评估者的一致性更高（高达 93%）。

最优工作流将任务特定信息转移至契约与调用顺序中，而非角色本身。

互信息分析表明，迭代工作流搜索降低了通用智能体角色的任务特异性，同时将关键约束与依赖关系集中到明确的输出契约和执行跳数中。

蒸馏过程移除了显式工作流提示词，将组织规划能力内化至基座模型中。

在后训练阶段从编排者的提示词中剥离工作流计划，迫使更新后的模型从内部自主识别任务需求并协调子智能体。

💬 Key Quotes

MASS 反复优化多智能体工作流，随后从多智能体系统中蒸馏出集体智慧，并将其作为 RSI 的自我监督信号。

我们仅在任务解决轨迹上训练模型，并观察到工作流优化器与工作区评估者的能力也同步得到了提升。

从编排者的训练提示词中移除工作流，能够促使模型学会如何根据任务本身来组织工作。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： Hacker News

Author： Hacker News

Category： 人工智能

Language： 英文

Read Time： 15 min

Word Count： 3618

Tags：

AI 与智能应用 , 递归自我改进 , Agent编排 , AI研究前沿 , 模型训练与推理