影响成本的 4 种 Amazon Bedrock 推理选项 | Amazon Web Services

📌 One-Sentence Summary
本文探讨了 4 种会直接影响 Amazon Bedrock 成本的推理层选项——缓存时长、服务层级、推理力度和 maxTokens,并为每项设置提供实测结果和验证方法。
📝 Summary
本文介绍了 4 种会影响 Amazon Bedrock 成本的请求级推理参数:缓存时长(提示词缓存的 5 分钟与 1 小时 TTL)、服务层级(适用于对延迟不敏感的工作负载的默认层级与 Flex)、自适应推理力度(从 low 到 max),以及 maxTokens 输出限制。通过使用 Claude Sonnet 5 和 Nova 2 Lite 模型进行实测,文章展示了各项设置如何改变 token 消耗和计费。要让 1 小时 TTL 更具成本效益,每小时需要发起 3 次或更多请求。Nova 2 Lite 使用 Flex 层级的费率为标准费率的一半,但延迟可能更长。推理力度会显著增加输出 token 数量(low:936 个 token,high:2,521 个 token,max:3,762 个 token),且在测试任务中没有导致质量下降。maxTokens 限制可以避免成本失控,但可能截断多轮链式流程中的回复。文章还介绍了如何利用响应元数据、CloudWatch 指标和账单数据,验证各项设置的影响。
💡 Main Points
缓存时长(5 分钟与 1 小时 TTL)的成本效益取决于请求频率模式,需要仔细分析;每小时发起 3 次或更多请求时,1 小时缓存才比 5 分钟缓存更划算。
不同缓存操作的定价差异显著:5 分钟缓存写入按输入费率的 1.25 倍计费,1 小时缓存写入按 2 倍计费,缓存读取则按 0.1 倍计费。当请求间隔超过 5 分钟时,1 小时缓存需要在同一小时内收到第 2 次请求后才开始比 5 分钟缓存更划算。为实现租户隔离,需要在可缓存前缀前添加 SHA-256 哈希值。
选择服务层级(默认或 Flex)可为对延迟不敏感的工作负载节省成本;对于 Nova 2 Lite 等受支持的模型,Flex 的费率为标准费率的一半。
Flex 层级因模型而异,不支持的模型会返回 ValidationException。测试显示,Nova 2 Lite 使用 Flex 的计费费率为标准费率的一半,延迟差异也很小。应用应实现有次数上限的重试逻辑,以便妥善处理层级回退。
自适应推理力度会直接影响输出 token 消耗;对于边界明确的任务,提高推理力度不会降低质量,输出量从 low 时的 936 个 token 增至 max 时的 3,762 个 token。
在 Claude Opus 5 智能体任务测试中,各推理力度的准确率一致(每种力度均有 24/24 次运行正确)。代码生成任务的 token 数量差异很小(676 与 743 个 token)。应根据任务类型,结合通过率和 token 分布来校准推理力度。
maxTokens 输出限制可以避免冗长提示词导致成本超支,但也可能截断回复,从而破坏多轮对话或智能体工作流。
测试显示,在一个案例中,设置 155-token 上限避免了 1,893 个 token 的消耗。配额系统会预先扣除输入 token 和 maxTokens,这会影响并发能力。生产环境中的限制值应参考 P95/P99 百分位并留出余量,同时监控 stopReason 中是否出现 max_tokens。
💬 Key Quotes
「即使你已经优化了提示词和应用逻辑,Amazon Bedrock 的推理账单仍可能持续上涨。请求级选项依然会改变服务处理的 token 数量及其适用费率。」
「缓存时长、服务层级、推理力度和 maxTokens 都可能影响成本,而无需更换模型或提示词。」
「5 分钟缓存只要在 5 分钟内被复用一次,就能收回成本。如果对同一前缀的请求间隔超过 5 分钟,每次请求都会以 1.25 倍费率重新写入。此时,1 小时缓存从该小时内的第 2 次请求起就更划算。」
「从 low 到 high:智能体测试中的输出 token 中位数增加了 169%,代码生成没有可靠的差异」
「在一个测试中,示例性的 155-token 限制避免了 1,893 个输出 token」
📊 Article Meta
AI Screening: 88
Source: AWS Artificial Intelligence
Author: Sai Pavan Kasani
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2243
Tags:
AI 与智能应用 , Prompt缓存 , 大语言模型 (LLM) , Anthropic , AWS
这个观点很中肯,深有同感。
实测过类似工具,作者说的基本属实。
内容翔实,正好需要,先收藏再看。
支持作者,持续关注中。
看完了,收获满满,期待更多更新。
这个观点很中肯,深有同感。
作者写得真不错,学到了不少。
刚好最近在找这方面的资料,太及时了。
看完了,收获满满,期待更多更新。
刚好最近在找这方面的资料,太及时了。
这个观点很中肯,深有同感。
整理得太全面了,省了我不少时间。