SageMaker Inference 现已支持 Multi-Instance GPU,最大化模型端点的 GPU 利用率 | Amazon Web Services

📌 One-Sentence Summary
Amazon SageMaker Inference 通过 NVIDIA MIG 引入 Multi-Instance GPU 分区功能,实现硬件隔离的 GPU 共享,让多个模型能够在同一块 GPU 上运行,并通过精细化资源分配获得可预测的性能和成本节省。
📝 Summary
本文宣布 Amazon SageMaker Inference 支持通过 NVIDIA Multi-Instance GPU(MIG)技术对 GPU 进行分区。该功能可将一块物理 GPU 划分为最多 7 个独立分区,每个分区都有专属的计算单元和内存。主要优势包括:部署数量多于 GPU 数量的模型、实现模型间的硬件级隔离、消除冷启动、获得可预测的延迟,以及隔离故障。文章介绍了通过两个 API 字段实现该功能的技术细节:用于端点配置的 AcceleratorPartitionLayouts,以及用于推理组件的 AcceleratorPartitionType。文章还详细列出了不同 GPU 类型(P4d、P5、G7、G7e)的分区配置,并讨论了如何根据计算(预填充)和内存(解码、KV 缓存)需求选择合适的布局。性能基准测试显示,H100 上的 mig-3g.40gb 分区吞吐量比完整的 A100-40GB 高 53-89%,同时还能降低成本。
💡 Main Points
GPU 分区让多个模型能够在同一块 GPU 上共享资源,并实现硬件级隔离。
NVIDIA MIG 可将一块 GPU 划分为最多 7 个独立分区,每个分区都有专属的计算资源、内存和带宽。这样,不同模型便能在相互隔离的分区中运行,无须再在资源不足和 GPU 资源过度配置之间做取舍。
选择分区时,需要平衡预填充所需的计算资源与解码和 KV 缓存所需的内存。
计算单元决定预填充性能(处理提示词),而内存单元则用于解码(生成 token)并决定 KV 缓存容量。3g.40gb 配置尤其值得关注,因为它使用 3 个计算单元和 4 个内存单元,因此设计分区布局时需要仔细考量。
性能基准测试显示,分区后的 H100 性能优于完整的 A100,且成本更低。
使用 Llama-3.1-8B-Instruct 的测试表明,在不同流量模式下,H100 上的 mig-3g.40gb 分区相比完整的 A100-40GB,吞吐量提高 53-89%,延迟降低 8.9-42.1%;在特定并发水平下,成本优势也十分明显。
适用场景包括多租户服务、模型组合部署和流水线阶段运行。
GPU 分区可安全地整合不同工作负载、为不同客户提供硬件隔离、在同一个实例上运行多个流水线阶段,还能在不单独创建端点的情况下,将候选模型或金丝雀模型与生产流量并行部署。
💬 Key Quotes
NVIDIA Multi-Instance GPU(MIG)可根据 GPU 类型将一块 GPU 划分为最多 7 个实例。每个实例都有独立的计算资源、缓存、内存和内存带宽。
延迟可预测——每个分区都有专属的内存带宽,因此一个模型的流量激增不会影响另一个模型的 p99 延迟。
故障隔离——崩溃或内存错误会被限制在所属分区内,不会导致 GPU 上的所有模型都停止运行。
分区在所有方面都更快——在每种场景、每个并发水平下,它的输出 token 每秒数量都更高;在各场景成本优势最大的负载下,提升幅度为 53% 到 89%。
内存更容易被低估,因为分区必须容纳的不只是模型本身,还有三样东西:对于采用 FP16 的 8B 模型,权重约占 16 GB;KV 缓存,其容量取决于上下文长度和计划允许的并发序列数。人们往往会忽略 KV 缓存,而它的占用还会随流量增长。
📊 Article Meta
AI Screening: 88
Source: AWS Artificial Intelligence
Author: Shantanu Tripathi
Category: 人工智能
Language: 英文
Read Time: 15 min
Word Count: 3601
Tags:
AI 与智能应用 , AI 工程 , 模型训练与推理 , 云原生 / DevOps , AI Agent
不错不错,已加入书签。
看标题就点进来了,内容果然没让人失望。
路过
楼主辛苦了,内容很有参考价值。
写得挺用心的,支持一下。
整理得太全面了,省了我不少时间。
作者写得真不错,学到了不少。
内容翔实,正好需要,先收藏再看。
赞同,实践出真知。
实话,说的不明不白
赞同,实践出真知。
这个观点很中肯,深有同感。