Vera Rubin NVL72 首秀 MLPerf：3.7 倍吞吐与 99% 扩展效率，推理选型看三个数

星海拾光AI 前沿📡 觉醒AI2026-09-21927 阅读💛 143 收藏

Vera Rubin NVL72 MLPerf Inference v6.1 成绩题图

一句话结论

MLPerf Inference v6.1 首批 Vera Rubin NVL72 数据给出三个可直接用于推理基础设施选型的数字：对 GB300 NVL72 最高 3.7 倍吞吐（Qwen3-VL，跨离线、服务器、交互三类场景）；288 卡四机架 99% 扩展效率（吞吐随加硬件近线性增长）；软件优化在 v6.0 基础上再抬 1.6 倍（且提交后仍在继续）。对按 token 成本算账的团队，这三个数分别对应单机吞吐上限、扩容线性和持续增益节奏——选型时缺一个都会误判。

为什么推理选型看这三个数

系统性能、基础设施高效扩展和持续软件优化，是决定 AI 推理经济性的三个杠杆。性能越高，单位时间产出的 token 越多、收入越高；扩展越高效，加硬件时吞吐近线性增长、服务同等规模用户所需资源越少；优化越持续，既有基础设施投资的产出越高。三者底层是平台通用性——同一套基础设施跑任何模型、任何负载，从训练到推理、从推荐到推理型语言模型、从语言到视频，利用率始终在线。

MLPerf Inference v6.1 概览

本轮成绩对应三条主张：Vera Rubin NVL72 首秀即领先；GB300 NVL72 以领先效率扩展；持续软件优化驱动性能增长。

Vera Rubin NVL72 首秀：两个最重基准

NVIDIA 在 MLPerf Inference v6.1 最苛刻的两个基准上提交了 Vera Rubin NVL72 预览成绩：DeepSeek-R1 和 Qwen3-VL。

在 Qwen3-VL 上，用 vLLM 加 NVIDIA Dynamo 开源推理框架，跨离线、服务器和交互三类场景，吞吐最高达 GB300 NVL72 的 3.7 倍。在 DeepSeek-R1 上，用 TensorRT-LLM，吞吐最高达 2.5 倍。

3.7 倍吞吐对比

这意味着每台 Vera Rubin NVL72 机架产出的 token 显著更多、服务用户更多、单位 token 成本更低。成绩来自全栈协同设计：Vera Rubin 增强的 Tensor Core 和 Transformer Engine 同时加速推理的预填充和解码阶段；NVFP4 精度压缩模型权重、注意力和 KV 缓存的内存占用，在输出质量损失极小的前提下抬高吞吐。

Vera Rubin 提交大量使用分离式服务——预填充与解码分开部署——配合大规模专家并行，让 DeepSeek-R1 和 Qwen3-VL 这类混合专家模型的专家层拿到最高效率。