Amazon SageMaker HyperPod Inference Gateway 正式发布 | Amazon Web Services

云向阳AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-09-19489 阅读💛 174 收藏
Amazon SageMaker HyperPod Inference Gateway 正式发布 | Amazon Web Services

📌 One-Sentence Summary AWS 推出了 Amazon SageMaker HyperPod Inference Gateway,这是一个 Kubernetes 原生的 GPU 感知路由系统,通过利用实时指标消除轮询瓶颈并降低首字延迟,从而优化 LLM 推理。

📝 Summary 本文介绍了 Amazon SageMaker HyperPod Inference Gateway,这是一种 Kubernetes 原生的 GPU 感知路由解决方案,旨在克服大规模 LLM 部署中默认轮询负载均衡器的局限性。该系统基于 Gateway API Inference Extension 构建,采用两层架构:第一层(Tier 1)是由 EKS 管理的集群网关,包含 Envoy Gateway、基于正文的路由器(BBR)和端点选择器(EPP);第二层(Tier 2)计划引入全局路由器。EPP 通过消费 Prometheus 的实时指标(如 KV 缓存利用率、队列深度、LoRA 常驻情况和前缀缓存命中率)来实现智能请求路由。针对不同规模模型(8B 至 235B 参数)的基准测试表明,在混合 GPU 代际、突发流量和共享提示词前缀等实际场景下,该方案在无需修改应用代码的情况下,显著提升了 P95/P99 首字延迟(TTFT)和吞吐量。

💡 Main Points 默认 Kubernetes 路由的局限性 标准的轮询(Round-robin)和最小连接数负载均衡器缺乏对 GPU 内部状态的可见性,导致请求在繁忙的 Pod 上堆积,而空闲容量却未被利用,从而引发延迟峰值。 两层 GPU 感知路由架构 第一层作为 EKS 管理的插件部署,结合了用于 L7 代理的 Envoy Gateway、用于解析 OpenAI 兼容请求的基于正文的路由器(BBR),以及由 Prometheus 实时指标驱动的端点选择器(EPP)。 多信号智能调度 EPP 利用 KV 缓存利用率、队列深度、LoRA 适配器常驻情况和前缀缓存命中率等因素优化放置策略,将请求引导至处理能力最强的 Pod。 生产压力下的量化性能提升 基准测试显示,在混合 GPU 代际、突发流量和共享提示词前缀等非均匀场景下,P95/P99 TTFT 最高可降低 97%-98%,吞吐量最高可提升 50%。

💬 Key Quotes 一名等待首字 4.4 秒的聊天机器人用户,现在可以在 800 毫秒内看到结果。 Inference Gateway 并不是一个与 Kubernetes 并行部署的独立平台,它就是 Kubernetes。

📊 Article Meta
AI Screening: 88
Source: AWS Artificial Intelligence
Author: Vinay Arora
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1742
Tags: AI 与智能应用 , 模型训练与推理 , 云原生 / DevOps , 性能优化 , AI 工程

#AI 与智能应用# 模型训练与推理# 云原生 / DevOps# 性能优化# AI 工程

文章评论(12)

墨沐雨2026-09-19

收藏了,以后慢慢研究。

回复
风倚栏2026-09-19

赞同,实践出真知。

回复
空向阳2026-09-19

作者写得真不错,学到了不少。

回复
月归舟2026-09-19

收藏了,以后慢慢研究。

回复
雪影2026-09-19

看标题就点进来了,内容果然没让人失望。

回复
杨丽华2026-09-19

看标题就点进来了,内容果然没让人失望。

回复
雪知秋2026-09-19

作者写得真不错,学到了不少。

回复
拾贝者2026-09-19

实测过类似工具,作者说的基本属实。

回复
风倚栏2026-09-19

楼主辛苦了,内容很有参考价值。

回复
龙文博2026-09-19

楼主辛苦了,内容很有参考价值。

回复
逐光而行2026-09-19

有没有更详细的教程,期待后续。

回复
逐光而行2026-09-19

很有价值的分享,感谢整理。

回复