借助 NVIDIA Snapshot,在数秒内启动并恢复 GPU 工作负载

📌 One-Sentence Summary
本文介绍了 NVIDIA Snapshot:一个面向 Kubernetes 上 GPU 工作负载的开源检查点与恢复系统。它通过捕获并恢复已完成初始化的 CPU 和 GPU 内存状态,将推理启动时间从数分钟缩短至数秒。
📝 Summary
NVIDIA Snapshot 是 NVIDIA DSX AI Factory Platform 的开源组件,可帮助 GPU 推理工作负载快速启动和恢复。Snapshot 将已完成初始化的工作负载(包括 CPU 和 GPU 内存)捕获为可移植的制品,使推理容量能够在数秒而非数分钟内上线。该系统使用 Kubernetes 自定义资源(PodSnapshot 和 SnapshotJob)为运行中的 Pod 创建检查点,也可以根据模板创建检查点。vLLM、SGLang 和 TensorRT LLM 的基准测试显示,恢复时间为 3.6 至 42.7 秒,相比冷启动提速 8x 至 36x。对于在 8 块 GPU 上使用 1TB 检查点的大型混合专家模型,恢复时间仍不到 43 秒。创建检查点的时间只需付出一次;在所有测试配置中,创建检查点加恢复所需的时间都短于一次冷启动。Snapshot 支持采用张量并行、专家并行和解码上下文并行的多 GPU 工作负载。
💡 Main Points
Snapshot 为 Kubernetes 上的 GPU 工作负载提供检查点与恢复能力,可捕获已完成初始化的 CPU 和 GPU 内存状态。
系统使用 Kubernetes 自定义资源(PodSnapshot 和 SnapshotJob)创建可移植制品。这些制品可在采用相同 GPU 型号和驱动程序的任意节点上恢复,从而跳过重复加载权重、编译和捕获计算图的步骤。
vLLM、SGLang 和 TensorRT LLM 的基准测试显示,与冷启动相比,恢复速度提升 8x 至 36x。
对于规模从 600 million 到 1TB 的混合专家模型检查点,在使用 1 至 8 块 GPU 时,恢复时间为 3.6 至 42.7 秒;最大模型的冷启动则需要 6 至 19 分钟。
对于大型混合专家模型,即使在 8 块 GPU 上使用最大 1TB 的检查点,恢复时间也不到 43 秒。
在测试规模最大的配置中(DeepSeek-V4.1-Flash、GLM-5.3-NVFP4、DeepSeek-V4-Pro-NVFP4),速度提升达到 14.56x 至 35.87x,展现了 Snapshot 处理内存密集型工作负载的能力。
首次恢复副本即可收回创建检查点的成本:创建检查点加恢复所需的时间短于一次冷启动。
根据模型和配置的不同,创建检查点需要 15 秒至 5.5 分钟,因此首次执行恢复操作就比冷启动更高效。
对于大型恢复任务,迁移 GPU 状态是主要耗时环节;在 8 GPU 混合专家模型配置中,GPU 状态恢复需要 18 至 29 秒。
通过 CRIU 恢复 CPU 进程状态需要 4.2 至 10.8 秒,其余恢复时间用于 CUDA 状态恢复以及唤醒和重新映射阶段。
💬 Key Quotes
NVIDIA Snapshot 是 NVIDIA DSX AI Factory Platform 的全新开源组件,可让已初始化的 GPU 工作负载在多个推理副本间重复使用,从而加快启动和恢复速度。
当推理需求激增或副本发生故障时,有可用的 GPU 并不意味着服务容量能立即到位。初始化 LLM 工作负载——这一过程称为冷启动——可能需要数分钟,从而延误扩容和故障恢复。
Snapshot 是一个面向 Kubernetes 上 GPU 工作负载的检查点与恢复系统。它会捕获已完成初始化的工作负载(包括 CPU 和 GPU 内存),并在兼容的基础设施上恢复该状态,使推理容量能够在数秒而非数分钟内上线。
在所有测试配置中,Snapshot 都能在 3.6 至 42.7 秒内恢复副本,速度比冷启动快 8x 至 36x。最大的混合专家模型在 8 块 GPU 上使用约 600 GB 至 1 TB 的检查点,恢复时间不到 43 秒;相比之下,冷启动需要 6 至 19 分钟。
两项测量均不包括拉取容器镜像和设置容器运行时所需的时间。每次创建检查点前都会释放 KV cache,因此它不属于制品的一部分。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: NVIDIA Technical Blog
Author: Ron Kahn
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1967
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , 云原生 / DevOps , AI 硬件与芯片
这篇文章分析得很透彻,收藏了!
这个比较实用,已转发给同事。
路过
点赞,必须点赞
思路清晰,干货满满。
写得挺用心的,支持一下。
点赞,必须点赞
写得挺用心的,支持一下。
这个比较实用,已转发给同事。
实话,说的不明不白
路过
赞同,实践出真知。