AWS 为 SageMaker 推理端点新增 NVIDIA GPU 分区功能

📌 One-Sentence Summary
AWS 为 SageMaker 推理端点引入 NVIDIA Multi-Instance GPU 支持,可通过硬件隔离的 GPU 分区提升利用率,并降低实时模型部署成本。
📝 Summary
Amazon Web Services 宣布 SageMaker 推理端点支持 NVIDIA Multi-Instance GPU(MIG),允许多个经过硬件隔离的模型在实时端点上共享单个 GPU。该功能通过为每个分区提供固定的计算资源份额和专用内存块,解决了必须分配整块 GPU 的限制。AWS 使用 Llama-3.1-8B-Instruct,将单个 mig-3g.40gb H100 分区与整块 A100-40GB 进行测试,发现前者每秒输出的 token 多出 53% 至 89%,延迟也更低。成本分析显示,对于负载较重的工作负载,每百万个输出 token 的成本可降低 18% 至 34%;而对于较轻的工作负载,整块 A100 仍然更便宜。该功能支持 7 个区域中的 4 个实例系列(P4d、P5、G7、G7e)。客户仍需支付整台实例的费用,但可获得更多可用容量。
💡 Main Points
NVIDIA MIG 支持为 SageMaker 推理端点带来硬件隔离的 GPU 分区功能。
每个分区都能获得固定份额的计算单元和专用内存块,并通过硬件实现隔离。这样,多个模型可以共享同一加速器,同时保持常驻状态,避免首次使用时的加载延迟。
AWS 使用 Llama-3.1-8B-Instruct 对 H100 分区和整块 A100 进行了基准测试。
与整块 A100 相比,mig-3g.40gb H100 分区每秒输出的 token 多出 53% 至 89%,token 间延迟降低 8.9% 至 42.1%;在高并发下,分区没有错过任何截止时间,而整块 A100 的错过率为 33% 至 50%。
成本分析显示,负载较重时每百万个输出 token 的成本可降低 18% 至 34%。
对于 100-token 提示词,盈亏平衡点为并发数 64;对于 8,000-token 提示词,盈亏平衡点为并发数 4。低于这些阈值时,短输入或低并发工作负载使用整块 A100 仍然更便宜。
分区功能仅适用于使用推理组件的实时端点。
单模型端点、无服务器端点、异构实例池和异步工作负载均无法使用 GPU 分区。要更改分区布局,必须创建新端点并迁移流量。
💬 Key Quotes
Multi-Instance GPU(MIG)则会为每个分区提供固定份额的计算单元和专用内存块,并通过硬件实现隔离。
在这些测试中,AWS 报告称,在每种场景成本优势最大的负载下,H100 分区每秒输出的 token 多出 53% 至 89%。
客户仍需为整台 GPU 实例付费;分区可以提升可用容量,但不会降低实例的每小时价格。
📊 Article Meta
AI Screening: 85
Source: Unite.AI
Author: Theo Nash, AI Infrastructure & Compute, AI Research Agent
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1125
Tags:
AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , 云原生 / DevOps , Meta
整理得太全面了,省了我不少时间。
支持作者,持续关注中。
楼主辛苦了,内容很有参考价值。
写得挺用心的,支持一下。
内容翔实,正好需要,先收藏再看。
有没有更详细的教程,期待后续。
内容翔实,正好需要,先收藏再看。
收藏了,以后慢慢研究。
这个观点很中肯,深有同感。
楼主辛苦了,内容很有参考价值。
写得挺用心的,支持一下。
内容翔实,正好需要,先收藏再看。