NVIDIA 五种协同设计方式,最大化 AI 工厂中每个字节的价值

📌 One-Sentence Summary
本文介绍 NVIDIA 如何通过协同设计 GPU 架构、互连和软件,最大化 AI 工厂中每个 HBM 字节的价值,并借助 NVFP4 精度、Wide-EP 专家并行、Dynamo 服务、Vera CPU 和 CMX 存储这五种关键手段,实现每瓦吞吐量最高提升 30x。
📝 Summary
本文探讨 NVIDIA 如何通过协同设计方法,最大化 AI 工厂中每个高带宽内存(HBM)字节的价值。在 AI 工厂中,内存是成本最高、竞争最激烈的资源。文章指出,关键不仅在于内存容量,还在于每个字节能完成多少有效工作。文章介绍了五种协同设计手段:NVFP4 精度在保持准确度的同时,相较 FP16 将内存占用降低 3.5x;Wide Expert Parallelism 将 MoE 专家分散到多块 GPU 上,以提高算术强度;NVIDIA Dynamo 将 KV cache 视为整个集群的共享资源,通过感知 KV cache 的路由和解耦式服务加以管理;NVIDIA Vera CPU 凭借快速的 CPU 处理能力和大容量 LPDDR5X 内存,在工具调用期间保留上下文;NVIDIA CMX 则创建共享的 G3.5 存储层,实现 pod 范围内的 KV cache 复用。尽管 HBM 容量相近,这些手段协同作用,使 Vera Rubin NVL72 相较 GB300 NVL72 的每兆瓦吞吐量最高提升 30x。
💡 Main Points
NVFP4 精度通过双层缩放,在保持准确度的同时降低内存占用。
NVFP4 使用 4 位 E2M1 元素,每 16 个值组成的微块配有 FP8 缩放因子,每个张量则使用 FP32 缩放因子。相较 FP16,它将模型占用降低 3.5x;相较 FP8,则降低 1.8x,从而释放 HBM,用于 KV cache 和提高并发量。
Wide Expert Parallelism 将 MoE 专家分散到多块 GPU 上,提高内存利用率。
它将专家分布在 8+ 块 GPU 上,而不是集中放置,使每块 GPU 承载更少的专家权重,为 KV cache 留出更多 HBM;同时,通过 GroupGEMM 内核复用权重,提高算术强度。
NVIDIA Dynamo 将 KV cache 视为整个集群的共享资源,通过智能路由和分层存储进行管理。
Dynamo 的感知 KV cache 路由会考虑缓存前缀的重叠情况和工作节点负载;KV Cache Runner 则支持 GPU、CPU、SSD 和网络存储之间的分层存储,让上下文在被 GPU 淘汰后仍能保留,并可在不同节点间复用。
NVIDIA Vera CPU 以快速处理能力和大容量内存,在工具调用期间保留上下文。
Vera CPU 配备 88 个 Olympus 核心,单线程性能快 1.8x,并通过 1.8 TB/s 的 NVLink-C2C 连接最高 1.5 TB 的 LPDDR5X 内存。它能在工具调用期间暂存 KV cache,避免 HBM 在上下文闲置期间被占用,也避免代价高昂的重新计算。
NVIDIA CMX 创建共享存储层,实现 pod 范围内的 KV cache 复用。
CMX 的 G3.5 层采用经优化、通过以太网连接的闪存,使已计算过的前缀能够在 pod 内兼容的模型实例之间复用,从而减少重复计算,并扩展 GPU 的有效内存。
💬 Key Quotes
在 AI 工厂中,高带宽内存(HBM)是速度最快、成本最高、竞争也最激烈的内存层。每个用于冗余权重副本、空闲会话的 KV cache 或重新计算前缀的字节,都意味着少了一个用于生成 token 的字节。
问题不再是 GPU 拥有多少内存,而是每个字节能完成多少有效工作。
仅凭容量,无法解释在每块 GPU 都是 288 GB 的情况下为何能实现 30x 的提升。差别在于每个字节能完成多少有效工作。
每种手段都消除了一类不同的浪费:NVFP4 去掉数值不需要的位,Wide-EP 去掉冗余的权重副本,Dynamo 消除重复计算,Vera 避免工具调用期间内存被闲置占用,CMX 则支持在不同节点间共享和复用 KV cache。
📊 Article Meta
AI Screening: 92
Featured: Yes
Source: NVIDIA Technical Blog
Author: Shara Tibken
Category: 人工智能
Language: 英文
Read Time: 11 min
Word Count: 2511
Tags:
AI 与智能应用 , 性能优化 , AI 硬件与芯片 , AI 工程 , 模型训练与推理
不错不错,已加入书签。
路过
作者写得真不错,学到了不少。
思路清晰,干货满满。
这个观点很中肯,深有同感。
赞同,实践出真知。
这个比较实用,已转发给同事。
实测过类似工具,作者说的基本属实。
内容翔实,正好需要,先收藏再看。
有没有更详细的教程,期待后续。
收藏了,以后慢慢研究。
作者写得真不错,学到了不少。