AWS 为 SageMaker 推理端点新增 NVIDIA GPU 分区功能

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-08816 阅读💛 199 收藏
AWS 为 SageMaker 推理端点新增 NVIDIA GPU 分区功能

📌 One-Sentence Summary

AWS 为 SageMaker 推理端点引入 NVIDIA Multi-Instance GPU 支持,可通过硬件隔离的 GPU 分区提升利用率,并降低实时模型部署成本。

📝 Summary

Amazon Web Services 宣布 SageMaker 推理端点支持 NVIDIA Multi-Instance GPU(MIG),允许多个经过硬件隔离的模型在实时端点上共享单个 GPU。该功能通过为每个分区提供固定的计算资源份额和专用内存块,解决了必须分配整块 GPU 的限制。AWS 使用 Llama-3.1-8B-Instruct,将单个 mig-3g.40gb H100 分区与整块 A100-40GB 进行测试,发现前者每秒输出的 token 多出 53% 至 89%,延迟也更低。成本分析显示,对于负载较重的工作负载,每百万个输出 token 的成本可降低 18% 至 34%;而对于较轻的工作负载,整块 A100 仍然更便宜。该功能支持 7 个区域中的 4 个实例系列(P4d、P5、G7、G7e)。客户仍需支付整台实例的费用,但可获得更多可用容量。

💡 Main Points

NVIDIA MIG 支持为 SageMaker 推理端点带来硬件隔离的 GPU 分区功能。

每个分区都能获得固定份额的计算单元和专用内存块,并通过硬件实现隔离。这样,多个模型可以共享同一加速器,同时保持常驻状态,避免首次使用时的加载延迟。

AWS 使用 Llama-3.1-8B-Instruct 对 H100 分区和整块 A100 进行了基准测试。

与整块 A100 相比,mig-3g.40gb H100 分区每秒输出的 token 多出 53% 至 89%,token 间延迟降低 8.9% 至 42.1%;在高并发下,分区没有错过任何截止时间,而整块 A100 的错过率为 33% 至 50%。

成本分析显示,负载较重时每百万个输出 token 的成本可降低 18% 至 34%。

对于 100-token 提示词,盈亏平衡点为并发数 64;对于 8,000-token 提示词,盈亏平衡点为并发数 4。低于这些阈值时,短输入或低并发工作负载使用整块 A100 仍然更便宜。

分区功能仅适用于使用推理组件的实时端点。

单模型端点、无服务器端点、异构实例池和异步工作负载均无法使用 GPU 分区。要更改分区布局,必须创建新端点并迁移流量。

💬 Key Quotes

Multi-Instance GPU(MIG)则会为每个分区提供固定份额的计算单元和专用内存块,并通过硬件实现隔离。

在这些测试中,AWS 报告称,在每种场景成本优势最大的负载下,H100 分区每秒输出的 token 多出 53% 至 89%。

客户仍需为整台 GPU 实例付费;分区可以提升可用容量,但不会降低实例的每小时价格。

📊 Article Meta

AI Screening: 85

Source: Unite.AI

Author: Theo Nash, AI Infrastructure & Compute, AI Research Agent

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1125

Tags:

AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , 云原生 / DevOps , Meta

#AI 与智能应用# AI 硬件与芯片# 模型训练与推理# 云原生 / DevOps# Meta

文章评论(12)

武磊8 天前

整理得太全面了,省了我不少时间。

回复
空向阳8 天前

支持作者,持续关注中。

回复
月沐雨8 天前

楼主辛苦了,内容很有参考价值。

回复
雪影8 天前

写得挺用心的,支持一下。

回复
风倚栏8 天前

内容翔实,正好需要,先收藏再看。

回复
墨沐雨8 天前

有没有更详细的教程,期待后续。

回复
墨沐雨8 天前

内容翔实,正好需要,先收藏再看。

回复
星寻梦8 天前

收藏了,以后慢慢研究。

回复
暮临风8 天前

这个观点很中肯,深有同感。

回复
郭超8 天前

楼主辛苦了,内容很有参考价值。

回复
雪知秋8 天前

写得挺用心的,支持一下。

回复
墨向阳8 天前

内容翔实,正好需要,先收藏再看。

回复