在 2000+ 次运行中测试 AI 智能体上下文压缩得到的 6 条经验

📌 One-Sentence Summary
在 2000+ 次运行中测试 AI 智能体的上下文压缩后发现,输出压缩比具有误导性;定向检索、惰性工具列表以及衡量静默丢失比原始压缩百分比更重要。
📝 Summary
作者构建了一个代理,利用 MCP 服务器为 AI 智能体压缩工具输出,在原始输出上实现了 70–94% 的缩减。然而,在使用本地开放权重模型记录的 2000+ 次智能体运行中,总会话 token 节省几乎消失殆尽,因为模型频繁地将被省略的数据重新检索回来。由此得出六条经验:(1)压缩比 ≠ 节省——模型会取回所需内容,往往使成本翻倍;(2)定向检索(搜索、行范围)可将开销转为收支平衡或小幅收益;(3)仅仅暴露一个检索工具就会分散小模型的注意力——惰性工具列表有所帮助;(4)朴素截断会在约 1/6 的任务中静默丢弃答案——要衡量静默丢失,而不仅仅是 token 缩减;(5)代理可能破坏环境变量传递,静默丢弃认证/配置;(6)先衡量可压缩 token 上限——在他们的任务中,只有约 40% 的提示词 token 来自大型工具输出。团队在 Hugging Face 上发布了一个开放基准(1832 个回合),用于会话级评估。
💡 Main Points
压缩比不等于 token 节省
模型读取大型输出以查找特定信息;如果压缩移除了该信息,模型会再次检索完整输出,往往增加总 token 数。在真实服务器测试中,压缩相比原始输出增加了 17% 的 token 开销。
定向检索是实现净节省的关键
加入基于搜索的检索(例如 expand(handle, search="query"))让模型只获取所需行。这在真实服务器上消除了开销,并在具有重复输出的合成任务上节省了约 17%。
额外工具会分散小模型的注意力
仅仅列出检索工具,就使一个 4B 模型在未压缩任务上的成功率从 50% 降至 41.7%。惰性工具列表——仅在实际发生压缩后才暴露该工具——避免了这种干扰。
截断会导致答案静默丢失
截断到 13.6k 字符节省了 25% 的 token,但在 193 个任务中有 33 个(约 17%)静默移除了正确答案。作者强调要衡量「静默丢失」——即压缩器删除任务关键数据的频率。
代理可能破坏环境变量传递
代理的默认子进程环境丢弃了自定义变量(例如 MEMORY_FILE_PATH、GITHUB_TOKEN),导致一个记忆服务器得分为 0/16,而原始为 16/16。在真实配置的服务器上进行完整的端到端测试发现了这一问题。
在构建之前先衡量可压缩上限
在他们的任务中,大型工具输出仅占提示词 token 的约 40%;其余来自指令、工具模式和对话。即使完美压缩也无法超过该上限,因此 0–25% 的现实会话节省可以事先预测。
💬 Key Quotes
压缩比不是节省。压缩器只在模型永远不需要查看内部的输出上节省 token,而这恰恰是它无法事先知道的。
如果你构建或选择上下文压缩器,检索路径与压缩本身同样重要。定向检索(搜索、行范围、JSON 路径)是「成本更高」与「收支平衡或更好」之间的区别。
你添加的每个工具都会消耗注意力,尤其是对小模型而言。在需要时添加工具,而不是「以防万一」。
衡量你的压缩器删除了什么重要内容,而不仅仅是删除了多少。
在优化上下文的某一部分之前,先衡量该部分在真实会话中有多大。如果上限很小,再聪明的算法也无法让结果变大。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: HackerNoon
Author: Venkata Sangaraju
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1639
Tags:
AI 与智能应用 , 测试与质量 , 开发者工具 , 后端开发 , 系统设计
这个观点很中肯,深有同感。
思路清晰,干货满满。
写得挺用心的,支持一下。
内容翔实,正好需要,先收藏再看。
支持作者,持续关注中。
刚好最近在找这方面的资料,太及时了。
内容翔实,正好需要,先收藏再看。
路过
内容翔实,正好需要,先收藏再看。
点赞,必须点赞
看完了,收获满满,期待更多更新。
收藏了,以后慢慢研究。