AWS 推理分析：一个 Strands Agent 背后的精度、内存与六大后端

邱宇AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-10-13956 阅读💛 89 收藏

📌 One-Sentence Summary

作者用同一个 Strands Agent 在六种 AWS 后端上运行 Gemma 4 E2B 等模型，用精度格式、内存带宽和推理引擎解释速度、成本与工具调用表现的差异。

📝 Summary

本文是“Inference on AWS”演讲的配套文章：同一个 Strands Agent 把同一问题发送到 Amazon Bedrock、SageMaker 端点、EC2 g6（NVIDIA L4）与 g5g（Graviton2 + T4G）上的 vLLM，以及手工移植 Gemma 4 的 Inferentia2 和 Trainium。同一个 Gemma 4 E2B 在不同后端上速度从 36 到 132 tok/s 不等，小时价格解释不了差距，关键在每个权重的位数、芯片读取速度和引擎对芯片的利用。基于 Google QAT checkpoint 的 int4 与 bf16 准确率相差不到 0.5 分，而从 bf16 直接舍入的 int8 损失 1.3 分；把 embedding 表压到 int4 可使 E2B 从 6.32 GiB 降到 2.85 GiB。g6 上的 vLLM 单请求 131.9 tok/s 最快、成本最低；SageMaker 每请求多约 0.24 秒、单 token 成本约为 g6 的两倍；Neuron 芯片带宽是 L4 的 2.0–2.7 倍，解码速度却只有其 0.28 倍，且尚无 vLLM 版本支持在 Neuron 上运行 Gemma 4。作者说明了测试范围：一次排练、每个后端三次计时请求。

💡 Main Points

同一模型速度差 3.7 倍

Gemma 4 E2B 在不同 AWS 后端上从 36 到 132 tok/s，取决于精度格式、内存带宽和推理引擎，而非小时价格。

QAT 量化几乎无损

基于 QAT checkpoint 的 int4 与 bf16 相差不到 0.5 分，bf16 直接舍入的 int8 损失 1.3 分；int4 embedding 把 E2B 从 6.32 GiB 压到 2.85 GiB。

g6 + vLLM 最快最省

单请求 131.9 tok/s；SageMaker 同 GPU 每请求多约 0.24 秒、单 token 成本约两倍。

带宽高不等于快

Neuron 芯片带宽是 L4 的 2.0–2.7 倍，解码速度仅 0.28 倍；目前没有 vLLM 版本在 Neuron 上支持 Gemma 4。

💬 Key Quotes

基于 Google QAT checkpoint 构建的 int4 模型与 bf16 的差距不到半分，而从 bf16 舍入的 int8 模型损失了 1.3 分。

g6 上的 vLLM 解码最快，单请求 131.9 tok/s。