在 2000+ 次运行中测试 AI 智能体上下文压缩得到的 6 条经验

蓝旅人行业资讯📡 BestBlogs·全站精选⭐ 902026-10-29640 阅读💛 4 收藏
在 2000+ 次运行中测试 AI 智能体上下文压缩得到的 6 条经验

📌 One-Sentence Summary

在 2000+ 次运行中测试 AI 智能体的上下文压缩后发现,输出压缩比具有误导性;定向检索、惰性工具列表以及衡量静默丢失比原始压缩百分比更重要。

📝 Summary

作者构建了一个代理,利用 MCP 服务器为 AI 智能体压缩工具输出,在原始输出上实现了 70–94% 的缩减。然而,在使用本地开放权重模型记录的 2000+ 次智能体运行中,总会话 token 节省几乎消失殆尽,因为模型频繁地将被省略的数据重新检索回来。由此得出六条经验:(1)压缩比 ≠ 节省——模型会取回所需内容,往往使成本翻倍;(2)定向检索(搜索、行范围)可将开销转为收支平衡或小幅收益;(3)仅仅暴露一个检索工具就会分散小模型的注意力——惰性工具列表有所帮助;(4)朴素截断会在约 1/6 的任务中静默丢弃答案——要衡量静默丢失,而不仅仅是 token 缩减;(5)代理可能破坏环境变量传递,静默丢弃认证/配置;(6)先衡量可压缩 token 上限——在他们的任务中,只有约 40% 的提示词 token 来自大型工具输出。团队在 Hugging Face 上发布了一个开放基准(1832 个回合),用于会话级评估。

💡 Main Points

压缩比不等于 token 节省

模型读取大型输出以查找特定信息;如果压缩移除了该信息,模型会再次检索完整输出,往往增加总 token 数。在真实服务器测试中,压缩相比原始输出增加了 17% 的 token 开销。

定向检索是实现净节省的关键

加入基于搜索的检索(例如 expand(handle, search="query"))让模型只获取所需行。这在真实服务器上消除了开销,并在具有重复输出的合成任务上节省了约 17%。

额外工具会分散小模型的注意力

仅仅列出检索工具,就使一个 4B 模型在未压缩任务上的成功率从 50% 降至 41.7%。惰性工具列表——仅在实际发生压缩后才暴露该工具——避免了这种干扰。

截断会导致答案静默丢失

截断到 13.6k 字符节省了 25% 的 token,但在 193 个任务中有 33 个(约 17%)静默移除了正确答案。作者强调要衡量「静默丢失」——即压缩器删除任务关键数据的频率。

代理可能破坏环境变量传递

代理的默认子进程环境丢弃了自定义变量(例如 MEMORY_FILE_PATH、GITHUB_TOKEN),导致一个记忆服务器得分为 0/16,而原始为 16/16。在真实配置的服务器上进行完整的端到端测试发现了这一问题。

在构建之前先衡量可压缩上限

在他们的任务中,大型工具输出仅占提示词 token 的约 40%;其余来自指令、工具模式和对话。即使完美压缩也无法超过该上限,因此 0–25% 的现实会话节省可以事先预测。

💬 Key Quotes

压缩比不是节省。压缩器只在模型永远不需要查看内部的输出上节省 token,而这恰恰是它无法事先知道的。

如果你构建或选择上下文压缩器,检索路径与压缩本身同样重要。定向检索(搜索、行范围、JSON 路径)是「成本更高」与「收支平衡或更好」之间的区别。

你添加的每个工具都会消耗注意力,尤其是对小模型而言。在需要时添加工具,而不是「以防万一」。

衡量你的压缩器删除了什么重要内容,而不仅仅是删除了多少。

在优化上下文的某一部分之前,先衡量该部分在真实会话中有多大。如果上限很小,再聪明的算法也无法让结果变大。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: HackerNoon

Author: Venkata Sangaraju

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1639

Tags:

AI 与智能应用 , 测试与质量 , 开发者工具 , 后端开发 , 系统设计

#AI 与智能应用# 测试与质量# 开发者工具# 后端开发# 系统设计

文章评论(12)

月沐雨17 天前

这个观点很中肯,深有同感。

回复
曹浩17 天前

思路清晰,干货满满。

回复
墨向阳17 天前

写得挺用心的,支持一下。

回复
雪影17 天前

内容翔实,正好需要,先收藏再看。

回复
蓝归舟17 天前

支持作者,持续关注中。

回复
竹听风17 天前

刚好最近在找这方面的资料,太及时了。

回复
陈皮话梅糖17 天前

内容翔实,正好需要,先收藏再看。

回复
墨向阳17 天前

路过

回复
蓝归舟17 天前

内容翔实,正好需要,先收藏再看。

回复
一叶知秋17 天前

点赞,必须点赞

回复
龙文博17 天前

看完了,收获满满,期待更多更新。

回复
邱文博17 天前

收藏了,以后慢慢研究。

回复