通过自动化工作负载恢复,让分布式训练持续运行

📌 One-Sentence Summary
NVIDIA Recovery 是一项开源服务,可自动恢复集群范围内的分布式 AI 训练工作负载:检测中断、定位故障原因、隔离问题节点,并从检查点重启作业,以维持训练有效吞吐。
📝 Summary
本文介绍了 NVIDIA Recovery,这是一项集成于 NVIDIA DSX OS 的工作负载级自动化服务,旨在应对分布式 AI 训练故障带来的扩展性挑战。文章说明了由四个阶段(检测、归因、隔离、重启)组成的恢复循环如何协调训练作业,从而尽量减少人工干预和 GPU 空闲时间。该系统集成 Slurm 和 Kubernetes,利用应用程序日志与调度器信号检测异常,并记录所有恢复操作以供审计。生产数据表明,在每天运行的 200 个作业中,系统针对约 8,550 起异常的平均检测和恢复延迟分别为 69 秒和 94 秒。文章还介绍了部署步骤、用于验证的监控模式,以及未来路线图中的 Slurm 作业数组支持和 Kubernetes 原生恢复功能。
💡 Main Points
NVIDIA Recovery 可在集群的所有训练工作负载中自动执行四阶段恢复循环(检测、归因、隔离、重启)。
系统通过应用程序日志和调度器信号检测中断,将故障归因于特定资源,隔离相关节点,并在健康资源上从检查点重启作业,从而减少人工干预并维持训练有效吞吐。
该服务通过与调度器无关的 API 集成 Slurm 和 Kubernetes,并支持集群内和 SSH 两种部署模式。
NVIDIA Recovery 作为控制平面服务运行,通过 HTTP/gRPC 通信;Slurm 部署还可使用以 Helm chart 提供的参考 Advisor Controller,因此无需修改应用程序代码即可灵活集成。
生产环境部署显示,该服务的平均检测和恢复延迟分别为 69 秒和 94 秒,显著提升了运维效率。
对 200 个每日运行的作业和 8,550 起异常进行为期三个月的监控后发现,自动化恢复减少了系统对个别工程师的依赖,并能持续覆盖整个集群。
💬 Key Quotes
训练中的某个 rank 停滞可能触发 NVIDIA 集体通信库(NCCL)超时;GPU 节点可能停止响应调度器;某个拖慢进度的节点也可能导致整个作业变慢。
即使每块 GPU 在某一天正常运行、不发生故障的概率为 99.9%,一个横跨 10,000 块 GPU 的作业在当天不间断完成的概率也只有 0.999^10000 ≈ 0.005%。
新部署默认以监控模式启动。在此模式下,NVIDIA Recovery 会发布建议并记录它本来会采取的操作,但不会对调度器采取任何行动。
📊 Article Meta
AI Screening: 88
Source: NVIDIA Technical Blog
Author: Elizabeth Goodman
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2225
Tags:
AI 与智能应用 , AI 工程 , 机器学习 , 模型训练与推理 , AI 硬件与芯片
这个比较实用,已转发给同事。
讲解得很细致,新手也能看懂。
点赞,必须点赞
讲解得很细致,新手也能看懂。
很有价值的分享,感谢整理。
刚好最近在找这方面的资料,太及时了。
实测过类似工具,作者说的基本属实。
楼主辛苦了,内容很有参考价值。
作者写得真不错,学到了不少。
讲解得很细致,新手也能看懂。
作者写得真不错,学到了不少。
路过