借助 NVIDIA Snapshot,在数秒内启动并恢复 GPU 工作负载

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 902026-11-11508 阅读💛 204 收藏
借助 NVIDIA Snapshot,在数秒内启动并恢复 GPU 工作负载

📌 One-Sentence Summary

本文介绍了 NVIDIA Snapshot:一个面向 Kubernetes 上 GPU 工作负载的开源检查点与恢复系统。它通过捕获并恢复已完成初始化的 CPU 和 GPU 内存状态,将推理启动时间从数分钟缩短至数秒。

📝 Summary

NVIDIA Snapshot 是 NVIDIA DSX AI Factory Platform 的开源组件,可帮助 GPU 推理工作负载快速启动和恢复。Snapshot 将已完成初始化的工作负载(包括 CPU 和 GPU 内存)捕获为可移植的制品,使推理容量能够在数秒而非数分钟内上线。该系统使用 Kubernetes 自定义资源(PodSnapshot 和 SnapshotJob)为运行中的 Pod 创建检查点,也可以根据模板创建检查点。vLLM、SGLang 和 TensorRT LLM 的基准测试显示,恢复时间为 3.6 至 42.7 秒,相比冷启动提速 8x 至 36x。对于在 8 块 GPU 上使用 1TB 检查点的大型混合专家模型,恢复时间仍不到 43 秒。创建检查点的时间只需付出一次;在所有测试配置中,创建检查点加恢复所需的时间都短于一次冷启动。Snapshot 支持采用张量并行、专家并行和解码上下文并行的多 GPU 工作负载。

💡 Main Points

Snapshot 为 Kubernetes 上的 GPU 工作负载提供检查点与恢复能力,可捕获已完成初始化的 CPU 和 GPU 内存状态。

系统使用 Kubernetes 自定义资源(PodSnapshot 和 SnapshotJob)创建可移植制品。这些制品可在采用相同 GPU 型号和驱动程序的任意节点上恢复,从而跳过重复加载权重、编译和捕获计算图的步骤。

vLLM、SGLang 和 TensorRT LLM 的基准测试显示,与冷启动相比,恢复速度提升 8x 至 36x。

对于规模从 600 million 到 1TB 的混合专家模型检查点,在使用 1 至 8 块 GPU 时,恢复时间为 3.6 至 42.7 秒;最大模型的冷启动则需要 6 至 19 分钟。

对于大型混合专家模型,即使在 8 块 GPU 上使用最大 1TB 的检查点,恢复时间也不到 43 秒。

在测试规模最大的配置中(DeepSeek-V4.1-Flash、GLM-5.3-NVFP4、DeepSeek-V4-Pro-NVFP4),速度提升达到 14.56x 至 35.87x,展现了 Snapshot 处理内存密集型工作负载的能力。

首次恢复副本即可收回创建检查点的成本:创建检查点加恢复所需的时间短于一次冷启动。

根据模型和配置的不同,创建检查点需要 15 秒至 5.5 分钟,因此首次执行恢复操作就比冷启动更高效。

对于大型恢复任务,迁移 GPU 状态是主要耗时环节;在 8 GPU 混合专家模型配置中,GPU 状态恢复需要 18 至 29 秒。

通过 CRIU 恢复 CPU 进程状态需要 4.2 至 10.8 秒,其余恢复时间用于 CUDA 状态恢复以及唤醒和重新映射阶段。

💬 Key Quotes

NVIDIA Snapshot 是 NVIDIA DSX AI Factory Platform 的全新开源组件,可让已初始化的 GPU 工作负载在多个推理副本间重复使用,从而加快启动和恢复速度。

当推理需求激增或副本发生故障时,有可用的 GPU 并不意味着服务容量能立即到位。初始化 LLM 工作负载——这一过程称为冷启动——可能需要数分钟,从而延误扩容和故障恢复。

Snapshot 是一个面向 Kubernetes 上 GPU 工作负载的检查点与恢复系统。它会捕获已完成初始化的工作负载(包括 CPU 和 GPU 内存),并在兼容的基础设施上恢复该状态,使推理容量能够在数秒而非数分钟内上线。

在所有测试配置中,Snapshot 都能在 3.6 至 42.7 秒内恢复副本,速度比冷启动快 8x 至 36x。最大的混合专家模型在 8 块 GPU 上使用约 600 GB 至 1 TB 的检查点,恢复时间不到 43 秒;相比之下,冷启动需要 6 至 19 分钟。

两项测量均不包括拉取容器镜像和设置容器运行时所需的时间。每次创建检查点前都会释放 KV cache,因此它不属于制品的一部分。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: NVIDIA Technical Blog

Author: Ron Kahn

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1967

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , 云原生 / DevOps , AI 硬件与芯片

#AI 与智能应用# 模型训练与推理# AI 工程# 云原生 / DevOps# AI 硬件与芯片

文章评论(12)

蓝归舟4 天前

这篇文章分析得很透彻,收藏了!

回复
星知秋4 天前

这个比较实用,已转发给同事。

回复
风拾光4 天前

路过

回复
南山客4 天前

点赞,必须点赞

回复
墨沐雨4 天前

思路清晰,干货满满。

回复
龙文博4 天前

写得挺用心的,支持一下。

回复
黄小刚4 天前

点赞,必须点赞

回复
龙文博4 天前

写得挺用心的,支持一下。

回复
曹浩4 天前

这个比较实用,已转发给同事。

回复
杨丽华4 天前

实话,说的不明不白

回复
一叶知秋4 天前

路过

回复
蓝问津4 天前

赞同,实践出真知。

回复