通过自动化工作负载恢复,让分布式训练持续运行

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-04709 阅读💛 59 收藏
通过自动化工作负载恢复,让分布式训练持续运行

📌 One-Sentence Summary

NVIDIA Recovery 是一项开源服务,可自动恢复集群范围内的分布式 AI 训练工作负载:检测中断、定位故障原因、隔离问题节点,并从检查点重启作业,以维持训练有效吞吐。

📝 Summary

本文介绍了 NVIDIA Recovery,这是一项集成于 NVIDIA DSX OS 的工作负载级自动化服务,旨在应对分布式 AI 训练故障带来的扩展性挑战。文章说明了由四个阶段(检测、归因、隔离、重启)组成的恢复循环如何协调训练作业,从而尽量减少人工干预和 GPU 空闲时间。该系统集成 Slurm 和 Kubernetes,利用应用程序日志与调度器信号检测异常,并记录所有恢复操作以供审计。生产数据表明,在每天运行的 200 个作业中,系统针对约 8,550 起异常的平均检测和恢复延迟分别为 69 秒和 94 秒。文章还介绍了部署步骤、用于验证的监控模式,以及未来路线图中的 Slurm 作业数组支持和 Kubernetes 原生恢复功能。

💡 Main Points

NVIDIA Recovery 可在集群的所有训练工作负载中自动执行四阶段恢复循环(检测、归因、隔离、重启)。

系统通过应用程序日志和调度器信号检测中断,将故障归因于特定资源,隔离相关节点,并在健康资源上从检查点重启作业,从而减少人工干预并维持训练有效吞吐。

该服务通过与调度器无关的 API 集成 Slurm 和 Kubernetes,并支持集群内和 SSH 两种部署模式。

NVIDIA Recovery 作为控制平面服务运行,通过 HTTP/gRPC 通信;Slurm 部署还可使用以 Helm chart 提供的参考 Advisor Controller,因此无需修改应用程序代码即可灵活集成。

生产环境部署显示,该服务的平均检测和恢复延迟分别为 69 秒和 94 秒,显著提升了运维效率。

对 200 个每日运行的作业和 8,550 起异常进行为期三个月的监控后发现,自动化恢复减少了系统对个别工程师的依赖,并能持续覆盖整个集群。

💬 Key Quotes

训练中的某个 rank 停滞可能触发 NVIDIA 集体通信库(NCCL)超时;GPU 节点可能停止响应调度器;某个拖慢进度的节点也可能导致整个作业变慢。

即使每块 GPU 在某一天正常运行、不发生故障的概率为 99.9%,一个横跨 10,000 块 GPU 的作业在当天不间断完成的概率也只有 0.999^10000 ≈ 0.005%。

新部署默认以监控模式启动。在此模式下,NVIDIA Recovery 会发布建议并记录它本来会采取的操作,但不会对调度器采取任何行动。

📊 Article Meta

AI Screening: 88

Source: NVIDIA Technical Blog

Author: Elizabeth Goodman

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2225

Tags:

AI 与智能应用 , AI 工程 , 机器学习 , 模型训练与推理 , AI 硬件与芯片

#AI 与智能应用# AI 工程# 机器学习# 模型训练与推理# AI 硬件与芯片

文章评论(12)

南山客11 天前

这个比较实用,已转发给同事。

回复
山问津12 天前

讲解得很细致,新手也能看懂。

回复
黄小刚11 天前

点赞,必须点赞

回复
空向阳11 天前

讲解得很细致,新手也能看懂。

回复
雪影11 天前

很有价值的分享,感谢整理。

回复
石佳琪11 天前

刚好最近在找这方面的资料,太及时了。

回复
星寻梦11 天前

实测过类似工具,作者说的基本属实。

回复
星知秋11 天前

楼主辛苦了,内容很有参考价值。

回复
墨向阳11 天前

作者写得真不错,学到了不少。

回复
雪影11 天前

讲解得很细致,新手也能看懂。

回复
蓝临风11 天前

作者写得真不错,学到了不少。

回复
月沐雨11 天前

路过

回复