长时程智能体需要实验，而不只是提示词 — Erina Karati

📌 One-Sentence Summary

Erina Karati 指出，长时程智能体需要通过受控实验来评估：用场景套件和均衡的行为评分卡检验完整的多智能体运行过程，只在受限的策略范围内搜索，并且只有在实测收益经受住护栏检验后才保留改动。

📝 Summary

Erina Karati 结合 Supercell AI Innovation Lab 开发的有状态多智能体框架 Project Paradox，解释了为什么智能体在短暂互动中表现良好，长期运行时却可能失去社会行为的一致性。各智能体拥有独立的记忆空间、情绪状态、信任判断和按重要性排序的记忆，这些机制支撑着局部行为；然而，传递中的传闻可能逐渐失去来源或确定性，记住的事实也未必会影响后续计划。她提出借鉴自动研究的闭环：设计受控场景，运行整个智能体群体，记录观察、对话、记忆操作、信念更新和行动轨迹，再评估信息传播、来源可追溯性、不确定性、规划能力与隐私。研究层只能修改协议或认知策略中少量开放的部分；测试框架、场景和指标保持不变，只有在均衡指标改善且护栏仍然有效时才保留改动。测试可以考察面包店停业消息能否连同来源传到相关智能体，或传闻在传播过程中能否继续保持不确定。Karati 提醒，单次芒果销售互动有所改善，并不足以证明整体能力提升。对助手、研究系统和编程智能体而言，更广泛的启示是：应通过受控运行检验持久状态及其后续行为，而不是仅凭令人信服的演示或提示词调优作判断。

💡 Main Points

长时程智能体的失效来自状态漂移，而不只是单次回答质量不佳

信息在智能体之间传递时，来源和不确定性可能逐渐消失；智能体也可能记住某个事实，却没有在规划时用上它。短期演示无法揭示这些社会行为一致性问题。

用受控场景和基于运行轨迹的指标评估完整过程

场景套件可以检验公共事实传播、来源保留、传闻的不确定性、重新规划和隐私保护。结构化运行轨迹让评估者能够依据真实标注比较群体层面的行为，而不是只评判一个回答或凭演示留下的印象。

采用均衡的评分卡，避免为了单一行为牺牲其他表现

更快的信息传播可能导致过度分享，更强的记忆能力也可能固化过时或嘈杂的信息。分别衡量传播、来源追溯、错误信息、规划和隐私，才能看清这些取舍。

限制自动搜索范围，并且只在实测改进后保留变更

固定测试框架、场景和指标，只开放记忆写入、信任判断、来源归属或重新规划等针对性策略供调整。若候选方案未能改善评分卡，或未能守住安全护栏，就应回滚。

将这套方法视为研究方向，而非已经证实的通用方案

Karati 报告了一次芒果销售互动的改善，但明确指出这不足以证明整体能力提升。这一提议的价值在于让长时程行为变得可测试；要得出更广泛的结论，仍需更多重复实验。

💬 Key Quotes

与其手动调提示词或依赖令人信服的演示，不如设计一组场景，运行智能体，收集运行轨迹，评估它们的行为，再调整策略中的一小部分。

评估的单位是完整运行过程，而不是单个回答。

只优化一项指标可能带来糟糕的行为。

仅有记忆还不够。

核心问题是：在受控运行中，系统的表现是否确实变好了？

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： AI Engineer

Author： AI Engineer

Category： 人工智能

Language： 英文

Read Time： 8 min

Word Count： 1799

Tags：

AI 与智能应用 , Agent编排 , AI研究前沿 , 视频 , 多智能体系统

Play Full Video