AI 智能体的「土拨鼠之日」:在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式 | Amazon Web Services

📌 One-Sentence Summary
AWS 演示了在 Amazon Bedrock 上使用 OpenAI 模型时,如何通过针对静态指令、对话历史、工具定义和子智能体委派的显式与隐式缓存模式,将 AI 智能体成本降低 60% 以上。
📝 Summary
文章借用「土拨鼠之日」的比喻,解释 AI 智能体如何在每一轮对话中反复重发其完整上下文(工具、指令、历史记录),从而产生冗余的 token 成本。文章详细介绍了 Amazon Bedrock 的提示词缓存如何在预填充阶段存储模型的键值(KV)缓存状态,并在后续请求中复用。文中涵盖两种缓存模式:隐式缓存(Bedrock 自动缓存最长匹配前缀)和显式缓存(开发者通过 `prompt_cache_breakpoint` 标记断点)。作者建议将两者结合使用:在静态工具/指令之后设置显式断点以实现跨会话复用,同时对不断增长的对话历史使用隐式缓存。代码示例展示了如何缓存静态前缀、在多轮工具循环中使用滚动断点、通过 `additional_tools` 添加新工具而不使缓存失效,以及为子智能体预热共享前缀。在 GPT-6 Astra 上的基准测试显示,在六轮工作负载中,隐式缓存可降低约 62% 的输入成本,显式滚动断点可降低约 61%。文章还警告了缓存泄漏风险以及负责任 AI 治理的必要性。
💡 Main Points
AI 智能体在每一轮都会重发完整上下文,导致冗余的 token 成本。
就像「土拨鼠之日」一样,智能体的每一步都必须重发工具、指令和完整历史记录,因为 LLM 在请求之间没有记忆。到第 20 轮时,模型会重新读取第 1 至 19 轮的内容,而开发者要为所有这些 token 反复付费。
提示词缓存在预填充阶段保存 KV 缓存状态,并以远低于输入价格的成本复用。
当请求以相同的 token 开头时,Bedrock 会加载已保存的 KV 状态,而不是重新计算。缓存可以是隐式的(由 Bedrock 选择可复用的前缀),也可以是显式的(由开发者标记断点)。两者结合可实现可复用的静态前缀加上自动的历史缓存。
对静态工具和指令进行显式缓存,可实现跨会话和跨智能体复用。
在开发者区块(工具 + 指令)之后标记断点,可让新会话和子智能体读取缓存的前缀。该前缀必须至少 1,024 个 token,并且每次序列化方式完全一致。
带滚动断点的隐式缓存能高效缓存不断增长的对话历史。
每一轮读取截至上一轮结束的缓存前缀,只写入新的工具结果。这避免了每轮重新处理整个历史记录,在 GPT-6 Astra 上实现了约 62% 的成本节省。
可以在会话中途通过 `additional_tools` 添加新工具,而不会使现有缓存失效。
追加一个 `additional_tools` 项会保留先前缓存的前缀,只写入新的工具定义。这避免了因编辑初始工具目录而导致的缓存未命中。
子智能体可以共享已预热的缓存前缀,然后各自分支执行自己的任务。
预热请求会填充缓存;后续的辅助请求包含相同的显式断点和共享的 `prompt_cache_key`,因此每个子智能体都能读取公共上下文,只需为其独有的任务付费。
💬 Key Quotes
智能体每执行一步(调用工具、读取结果、决定下一步做什么),都必须把到目前为止的完整经历发送给模型,以保持连续性。
提示词缓存打破了这一循环。服务会存储你的输入提示词(指令、工具和内容),并在下一次请求时以远低于输入价格的成本复用。
在这个六轮工作负载中,GPT-6 Astra 的隐式缓存结果并列最佳:输入成本比不使用缓存时低约 62%。
在 AI 智能体中使用缓存时,工具和系统提示词可能被泄漏或利用。请建立负责任的 AI 实践,将你的提示词缓存实现纳入该治理体系。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: AWS Artificial Intelligence
Author: Claudio Mazzoni
Category: 人工智能
Language: 英文
Read Time: 15 min
Word Count: 3703
Tags:
AI 与智能应用 , AI 工作流 , AI 工程 , 模型训练与推理 , AI Agent
这个观点很中肯,深有同感。
这个观点很中肯,深有同感。
收藏了,以后慢慢研究。
思路清晰,干货满满。
看标题就点进来了,内容果然没让人失望。
很有价值的分享,感谢整理。
看标题就点进来了,内容果然没让人失望。
思路清晰,干货满满。
支持作者,持续关注中。
整理得太全面了,省了我不少时间。
思路清晰,干货满满。
作者写得真不错,学到了不少。