AI 智能体的「土拨鼠之日」:在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式 | Amazon Web Services

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 902026-10-2770 阅读💛 66 收藏
AI 智能体的「土拨鼠之日」:在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式 | Amazon Web Services

📌 One-Sentence Summary

AWS 演示了在 Amazon Bedrock 上使用 OpenAI 模型时,如何通过针对静态指令、对话历史、工具定义和子智能体委派的显式与隐式缓存模式,将 AI 智能体成本降低 60% 以上。

📝 Summary

文章借用「土拨鼠之日」的比喻,解释 AI 智能体如何在每一轮对话中反复重发其完整上下文(工具、指令、历史记录),从而产生冗余的 token 成本。文章详细介绍了 Amazon Bedrock 的提示词缓存如何在预填充阶段存储模型的键值(KV)缓存状态,并在后续请求中复用。文中涵盖两种缓存模式:隐式缓存(Bedrock 自动缓存最长匹配前缀)和显式缓存(开发者通过 `prompt_cache_breakpoint` 标记断点)。作者建议将两者结合使用:在静态工具/指令之后设置显式断点以实现跨会话复用,同时对不断增长的对话历史使用隐式缓存。代码示例展示了如何缓存静态前缀、在多轮工具循环中使用滚动断点、通过 `additional_tools` 添加新工具而不使缓存失效,以及为子智能体预热共享前缀。在 GPT-6 Astra 上的基准测试显示,在六轮工作负载中,隐式缓存可降低约 62% 的输入成本,显式滚动断点可降低约 61%。文章还警告了缓存泄漏风险以及负责任 AI 治理的必要性。

💡 Main Points

AI 智能体在每一轮都会重发完整上下文,导致冗余的 token 成本。

就像「土拨鼠之日」一样,智能体的每一步都必须重发工具、指令和完整历史记录,因为 LLM 在请求之间没有记忆。到第 20 轮时,模型会重新读取第 1 至 19 轮的内容,而开发者要为所有这些 token 反复付费。

提示词缓存在预填充阶段保存 KV 缓存状态,并以远低于输入价格的成本复用。

当请求以相同的 token 开头时,Bedrock 会加载已保存的 KV 状态,而不是重新计算。缓存可以是隐式的(由 Bedrock 选择可复用的前缀),也可以是显式的(由开发者标记断点)。两者结合可实现可复用的静态前缀加上自动的历史缓存。

对静态工具和指令进行显式缓存,可实现跨会话和跨智能体复用。

在开发者区块(工具 + 指令)之后标记断点,可让新会话和子智能体读取缓存的前缀。该前缀必须至少 1,024 个 token,并且每次序列化方式完全一致。

带滚动断点的隐式缓存能高效缓存不断增长的对话历史。

每一轮读取截至上一轮结束的缓存前缀,只写入新的工具结果。这避免了每轮重新处理整个历史记录,在 GPT-6 Astra 上实现了约 62% 的成本节省。

可以在会话中途通过 `additional_tools` 添加新工具,而不会使现有缓存失效。

追加一个 `additional_tools` 项会保留先前缓存的前缀,只写入新的工具定义。这避免了因编辑初始工具目录而导致的缓存未命中。

子智能体可以共享已预热的缓存前缀,然后各自分支执行自己的任务。

预热请求会填充缓存;后续的辅助请求包含相同的显式断点和共享的 `prompt_cache_key`,因此每个子智能体都能读取公共上下文,只需为其独有的任务付费。

💬 Key Quotes

智能体每执行一步(调用工具、读取结果、决定下一步做什么),都必须把到目前为止的完整经历发送给模型,以保持连续性。

提示词缓存打破了这一循环。服务会存储你的输入提示词(指令、工具和内容),并在下一次请求时以远低于输入价格的成本复用。

在这个六轮工作负载中,GPT-6 Astra 的隐式缓存结果并列最佳:输入成本比不使用缓存时低约 62%。

在 AI 智能体中使用缓存时,工具和系统提示词可能被泄漏或利用。请建立负责任的 AI 实践,将你的提示词缓存实现纳入该治理体系。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: AWS Artificial Intelligence

Author: Claudio Mazzoni

Category: 人工智能

Language: 英文

Read Time: 15 min

Word Count: 3703

Tags:

AI 与智能应用 , AI 工作流 , AI 工程 , 模型训练与推理 , AI Agent

#AI 与智能应用# AI 工作流# AI 工程# 模型训练与推理# AI Agent

文章评论(12)

墨沐雨19 天前

这个观点很中肯,深有同感。

回复
星知秋19 天前

这个观点很中肯,深有同感。

回复
林拾贝19 天前

收藏了,以后慢慢研究。

回复
松听风19 天前

思路清晰,干货满满。

回复
漾漾其华19 天前

看标题就点进来了,内容果然没让人失望。

回复
雪知秋19 天前

很有价值的分享,感谢整理。

回复
林观澜19 天前

看标题就点进来了,内容果然没让人失望。

回复
一叶知秋19 天前

思路清晰,干货满满。

回复
星知秋19 天前

支持作者,持续关注中。

回复
石佳琪19 天前

整理得太全面了,省了我不少时间。

回复
一个橘子19 天前

思路清晰,干货满满。

回复
雪知秋19 天前

作者写得真不错,学到了不少。

回复