使用 NVIDIA Attribution 诊断分布式 AI 工作负载故障

📌 One-Sentence Summary
NVIDIA Attribution 是一个开源、以工作负载为中心的故障诊断系统,可关联分布式 AI 工作负载中的日志、指标和遥测数据,从而找出根因和受影响的节点。
📝 Summary
NVIDIA Attribution 是一个开源系统,旨在通过关联工作负载范围内的日志、指标、遥测数据和调度器状态,诊断分布式 AI 工作负载中的故障。它通过一个包含 4 个阶段的流程处理证据:确定工作负载范围、收集观测数据、提取并关联事件,以及返回结构化诊断结果。系统使用确定性规则区分根因和后续症状,从而确保结果可复现且可自定义。系统由两个组件构成:Attribution Service(围绕核心引擎构建的 HTTP API 封装)和 Attribution Blueprint(可与调度器及遥测数据源集成的 Python 编排器)。文章展示了一个完整示例:系统将 node-02 上的 GPU XID 149 故障识别为根因,同时保留其他节点上的 NCCL 错误作为佐证。该系统已在 NVIDIA 的 AI 基础设施中通过生产环境测试,每周分析数百万个工作负载。
💡 Main Points
NVIDIA Attribution 通过 4 阶段流程诊断分布式 AI 工作负载故障。
该流程包括确定工作负载范围、从日志和指标中收集观测数据、使用确定性规则提取并关联事件,以及返回包含根因、受影响节点和相关症状的结构化诊断结果。
系统使用确定性规则区分根因和后续症状。
规则引擎会分析 GPU XID、NCCL 错误和调度器状态变更等事件的时间顺序与相互作用,将引发故障的事件与其连锁影响区分开来,从而准确归因。
Attribution 由 Service 和 Blueprint 两个组件构成。
Attribution Service 通过 HTTP API 提供核心引擎的功能;Blueprint 则负责与特定集群的调度器(Slurm、Kueue)和遥测数据源(Loki、Prometheus)集成,使系统能够灵活部署于不同环境。
该系统是开源的,并已在大规模生产环境中通过测试。
该系统已用于 NVIDIA 的 AI 基础设施,每周在数十万块 GPU 上分析数百万个工作负载;基础设施团队还可以通过扩展添加自定义规则和连接器。
💬 Key Quotes
在分布式 AI 工作负载中,单个错误可能引发一连串症状。GPU 或网络互连事件可能表现为其他 rank 上的 NCCL 错误、调度器状态变化,以及数千条后续消息。
NVIDIA Attribution 会关联工作负载范围内的日志、指标、遥测数据和调度器状态,并返回结构化诊断结果:运行结果、根因、受影响节点、相关症状及证据链。
确定性规则让结果可复现、可自定义;结构化输出则便于与现有健康检查和恢复系统集成。
📊 Article Meta
AI Screening: 88
Source: NVIDIA Technical Blog
Author: Elizabeth Goodman
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1673
Tags:
AI 与智能应用 , AI 工程 , 开发者工具 , 机器学习 , 模型训练与推理
很有价值的分享,感谢整理。
思路清晰,干货满满。
这篇文章分析得很透彻,收藏了!
看标题就点进来了,内容果然没让人失望。
思路清晰,干货满满。
整理得太全面了,省了我不少时间。
思路清晰,干货满满。
讲解得很细致,新手也能看懂。
思路清晰,干货满满。
赞同,实践出真知。
不错不错,已加入书签。
赞同,实践出真知。