NVIDIA 五种协同设计方式,最大化 AI 工厂中每个字节的价值

山止川行行业资讯📡 BestBlogs·全站精选⭐ 922026-11-06333 阅读💛 6 收藏
NVIDIA 五种协同设计方式,最大化 AI 工厂中每个字节的价值

📌 One-Sentence Summary

本文介绍 NVIDIA 如何通过协同设计 GPU 架构、互连和软件,最大化 AI 工厂中每个 HBM 字节的价值,并借助 NVFP4 精度、Wide-EP 专家并行、Dynamo 服务、Vera CPU 和 CMX 存储这五种关键手段,实现每瓦吞吐量最高提升 30x。

📝 Summary

本文探讨 NVIDIA 如何通过协同设计方法,最大化 AI 工厂中每个高带宽内存(HBM)字节的价值。在 AI 工厂中,内存是成本最高、竞争最激烈的资源。文章指出,关键不仅在于内存容量,还在于每个字节能完成多少有效工作。文章介绍了五种协同设计手段:NVFP4 精度在保持准确度的同时,相较 FP16 将内存占用降低 3.5x;Wide Expert Parallelism 将 MoE 专家分散到多块 GPU 上,以提高算术强度;NVIDIA Dynamo 将 KV cache 视为整个集群的共享资源,通过感知 KV cache 的路由和解耦式服务加以管理;NVIDIA Vera CPU 凭借快速的 CPU 处理能力和大容量 LPDDR5X 内存,在工具调用期间保留上下文;NVIDIA CMX 则创建共享的 G3.5 存储层,实现 pod 范围内的 KV cache 复用。尽管 HBM 容量相近,这些手段协同作用,使 Vera Rubin NVL72 相较 GB300 NVL72 的每兆瓦吞吐量最高提升 30x。

💡 Main Points

NVFP4 精度通过双层缩放,在保持准确度的同时降低内存占用。

NVFP4 使用 4 位 E2M1 元素,每 16 个值组成的微块配有 FP8 缩放因子,每个张量则使用 FP32 缩放因子。相较 FP16,它将模型占用降低 3.5x;相较 FP8,则降低 1.8x,从而释放 HBM,用于 KV cache 和提高并发量。

Wide Expert Parallelism 将 MoE 专家分散到多块 GPU 上,提高内存利用率。

它将专家分布在 8+ 块 GPU 上,而不是集中放置,使每块 GPU 承载更少的专家权重,为 KV cache 留出更多 HBM;同时,通过 GroupGEMM 内核复用权重,提高算术强度。

NVIDIA Dynamo 将 KV cache 视为整个集群的共享资源,通过智能路由和分层存储进行管理。

Dynamo 的感知 KV cache 路由会考虑缓存前缀的重叠情况和工作节点负载;KV Cache Runner 则支持 GPU、CPU、SSD 和网络存储之间的分层存储,让上下文在被 GPU 淘汰后仍能保留,并可在不同节点间复用。

NVIDIA Vera CPU 以快速处理能力和大容量内存,在工具调用期间保留上下文。

Vera CPU 配备 88 个 Olympus 核心,单线程性能快 1.8x,并通过 1.8 TB/s 的 NVLink-C2C 连接最高 1.5 TB 的 LPDDR5X 内存。它能在工具调用期间暂存 KV cache,避免 HBM 在上下文闲置期间被占用,也避免代价高昂的重新计算。

NVIDIA CMX 创建共享存储层,实现 pod 范围内的 KV cache 复用。

CMX 的 G3.5 层采用经优化、通过以太网连接的闪存,使已计算过的前缀能够在 pod 内兼容的模型实例之间复用,从而减少重复计算,并扩展 GPU 的有效内存。

💬 Key Quotes

在 AI 工厂中,高带宽内存(HBM)是速度最快、成本最高、竞争也最激烈的内存层。每个用于冗余权重副本、空闲会话的 KV cache 或重新计算前缀的字节,都意味着少了一个用于生成 token 的字节。

问题不再是 GPU 拥有多少内存,而是每个字节能完成多少有效工作。

仅凭容量,无法解释在每块 GPU 都是 288 GB 的情况下为何能实现 30x 的提升。差别在于每个字节能完成多少有效工作。

每种手段都消除了一类不同的浪费:NVFP4 去掉数值不需要的位,Wide-EP 去掉冗余的权重副本,Dynamo 消除重复计算,Vera 避免工具调用期间内存被闲置占用,CMX 则支持在不同节点间共享和复用 KV cache。

📊 Article Meta

AI Screening: 92

Featured: Yes

Source: NVIDIA Technical Blog

Author: Shara Tibken

Category: 人工智能

Language: 英文

Read Time: 11 min

Word Count: 2511

Tags:

AI 与智能应用 , 性能优化 , AI 硬件与芯片 , AI 工程 , 模型训练与推理

#AI 与智能应用# 性能优化# AI 硬件与芯片# AI 工程# 模型训练与推理

文章评论(12)

郭超9 天前

不错不错,已加入书签。

回复
杨丽华9 天前

路过

回复
杨丽华9 天前

作者写得真不错,学到了不少。

回复
蓝问津9 天前

思路清晰,干货满满。

回复
暮临风9 天前

这个观点很中肯,深有同感。

回复
空向阳9 天前

赞同,实践出真知。

回复
邱文博9 天前

这个比较实用,已转发给同事。

回复
曹浩9 天前

实测过类似工具,作者说的基本属实。

回复
雪知秋9 天前

内容翔实,正好需要,先收藏再看。

回复
郭超9 天前

有没有更详细的教程,期待后续。

回复
逐光而行9 天前

收藏了,以后慢慢研究。

回复
南山客9 天前

作者写得真不错,学到了不少。

回复