SageMaker Inference 现已支持 Multi-Instance GPU,最大化模型端点的 GPU 利用率 | Amazon Web Services

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-0793 阅读💛 251 收藏
SageMaker Inference 现已支持 Multi-Instance GPU,最大化模型端点的 GPU 利用率 | Amazon Web Services

📌 One-Sentence Summary

Amazon SageMaker Inference 通过 NVIDIA MIG 引入 Multi-Instance GPU 分区功能,实现硬件隔离的 GPU 共享,让多个模型能够在同一块 GPU 上运行,并通过精细化资源分配获得可预测的性能和成本节省。

📝 Summary

本文宣布 Amazon SageMaker Inference 支持通过 NVIDIA Multi-Instance GPU(MIG)技术对 GPU 进行分区。该功能可将一块物理 GPU 划分为最多 7 个独立分区,每个分区都有专属的计算单元和内存。主要优势包括:部署数量多于 GPU 数量的模型、实现模型间的硬件级隔离、消除冷启动、获得可预测的延迟,以及隔离故障。文章介绍了通过两个 API 字段实现该功能的技术细节:用于端点配置的 AcceleratorPartitionLayouts,以及用于推理组件的 AcceleratorPartitionType。文章还详细列出了不同 GPU 类型(P4d、P5、G7、G7e)的分区配置,并讨论了如何根据计算(预填充)和内存(解码、KV 缓存)需求选择合适的布局。性能基准测试显示,H100 上的 mig-3g.40gb 分区吞吐量比完整的 A100-40GB 高 53-89%,同时还能降低成本。

💡 Main Points

GPU 分区让多个模型能够在同一块 GPU 上共享资源,并实现硬件级隔离。

NVIDIA MIG 可将一块 GPU 划分为最多 7 个独立分区,每个分区都有专属的计算资源、内存和带宽。这样,不同模型便能在相互隔离的分区中运行,无须再在资源不足和 GPU 资源过度配置之间做取舍。

选择分区时,需要平衡预填充所需的计算资源与解码和 KV 缓存所需的内存。

计算单元决定预填充性能(处理提示词),而内存单元则用于解码(生成 token)并决定 KV 缓存容量。3g.40gb 配置尤其值得关注,因为它使用 3 个计算单元和 4 个内存单元,因此设计分区布局时需要仔细考量。

性能基准测试显示,分区后的 H100 性能优于完整的 A100,且成本更低。

使用 Llama-3.1-8B-Instruct 的测试表明,在不同流量模式下,H100 上的 mig-3g.40gb 分区相比完整的 A100-40GB,吞吐量提高 53-89%,延迟降低 8.9-42.1%;在特定并发水平下,成本优势也十分明显。

适用场景包括多租户服务、模型组合部署和流水线阶段运行。

GPU 分区可安全地整合不同工作负载、为不同客户提供硬件隔离、在同一个实例上运行多个流水线阶段,还能在不单独创建端点的情况下,将候选模型或金丝雀模型与生产流量并行部署。

💬 Key Quotes

NVIDIA Multi-Instance GPU(MIG)可根据 GPU 类型将一块 GPU 划分为最多 7 个实例。每个实例都有独立的计算资源、缓存、内存和内存带宽。

延迟可预测——每个分区都有专属的内存带宽,因此一个模型的流量激增不会影响另一个模型的 p99 延迟。

故障隔离——崩溃或内存错误会被限制在所属分区内,不会导致 GPU 上的所有模型都停止运行。

分区在所有方面都更快——在每种场景、每个并发水平下,它的输出 token 每秒数量都更高;在各场景成本优势最大的负载下,提升幅度为 53% 到 89%。

内存更容易被低估,因为分区必须容纳的不只是模型本身,还有三样东西:对于采用 FP16 的 8B 模型,权重约占 16 GB;KV 缓存,其容量取决于上下文长度和计划允许的并发序列数。人们往往会忽略 KV 缓存,而它的占用还会随流量增长。

📊 Article Meta

AI Screening: 88

Source: AWS Artificial Intelligence

Author: Shantanu Tripathi

Category: 人工智能

Language: 英文

Read Time: 15 min

Word Count: 3601

Tags:

AI 与智能应用 , AI 工程 , 模型训练与推理 , 云原生 / DevOps , AI Agent

#AI 与智能应用# AI 工程# 模型训练与推理# 云原生 / DevOps# AI Agent

文章评论(12)

一个橘子8 天前

不错不错,已加入书签。

回复
风倚栏9 天前

看标题就点进来了,内容果然没让人失望。

回复
蓝光9 天前

路过

回复
风拾光8 天前

楼主辛苦了,内容很有参考价值。

回复
崔欣怡8 天前

写得挺用心的,支持一下。

回复
龙文博8 天前

整理得太全面了,省了我不少时间。

回复
空向阳8 天前

作者写得真不错,学到了不少。

回复
暮临风8 天前

内容翔实,正好需要,先收藏再看。

回复
星知秋8 天前

赞同,实践出真知。

回复
暮临风8 天前

实话,说的不明不白

回复
龙文博8 天前

赞同,实践出真知。

回复
三分糖去冰8 天前

这个观点很中肯,深有同感。

回复