使用 NVIDIA Attribution 诊断分布式 AI 工作负载故障

云向阳AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-041003 阅读💛 170 收藏
使用 NVIDIA Attribution 诊断分布式 AI 工作负载故障

📌 One-Sentence Summary

NVIDIA Attribution 是一个开源、以工作负载为中心的故障诊断系统,可关联分布式 AI 工作负载中的日志、指标和遥测数据,从而找出根因和受影响的节点。

📝 Summary

NVIDIA Attribution 是一个开源系统,旨在通过关联工作负载范围内的日志、指标、遥测数据和调度器状态,诊断分布式 AI 工作负载中的故障。它通过一个包含 4 个阶段的流程处理证据:确定工作负载范围、收集观测数据、提取并关联事件,以及返回结构化诊断结果。系统使用确定性规则区分根因和后续症状,从而确保结果可复现且可自定义。系统由两个组件构成:Attribution Service(围绕核心引擎构建的 HTTP API 封装)和 Attribution Blueprint(可与调度器及遥测数据源集成的 Python 编排器)。文章展示了一个完整示例:系统将 node-02 上的 GPU XID 149 故障识别为根因,同时保留其他节点上的 NCCL 错误作为佐证。该系统已在 NVIDIA 的 AI 基础设施中通过生产环境测试,每周分析数百万个工作负载。

💡 Main Points

NVIDIA Attribution 通过 4 阶段流程诊断分布式 AI 工作负载故障。

该流程包括确定工作负载范围、从日志和指标中收集观测数据、使用确定性规则提取并关联事件,以及返回包含根因、受影响节点和相关症状的结构化诊断结果。

系统使用确定性规则区分根因和后续症状。

规则引擎会分析 GPU XID、NCCL 错误和调度器状态变更等事件的时间顺序与相互作用,将引发故障的事件与其连锁影响区分开来,从而准确归因。

Attribution 由 Service 和 Blueprint 两个组件构成。

Attribution Service 通过 HTTP API 提供核心引擎的功能;Blueprint 则负责与特定集群的调度器(Slurm、Kueue)和遥测数据源(Loki、Prometheus)集成,使系统能够灵活部署于不同环境。

该系统是开源的,并已在大规模生产环境中通过测试。

该系统已用于 NVIDIA 的 AI 基础设施,每周在数十万块 GPU 上分析数百万个工作负载;基础设施团队还可以通过扩展添加自定义规则和连接器。

💬 Key Quotes

在分布式 AI 工作负载中,单个错误可能引发一连串症状。GPU 或网络互连事件可能表现为其他 rank 上的 NCCL 错误、调度器状态变化,以及数千条后续消息。

NVIDIA Attribution 会关联工作负载范围内的日志、指标、遥测数据和调度器状态,并返回结构化诊断结果:运行结果、根因、受影响节点、相关症状及证据链。

确定性规则让结果可复现、可自定义;结构化输出则便于与现有健康检查和恢复系统集成。

📊 Article Meta

AI Screening: 88

Source: NVIDIA Technical Blog

Author: Elizabeth Goodman

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1673

Tags:

AI 与智能应用 , AI 工程 , 开发者工具 , 机器学习 , 模型训练与推理

#AI 与智能应用# AI 工程# 开发者工具# 机器学习# 模型训练与推理

文章评论(12)

漾漾其华11 天前

很有价值的分享,感谢整理。

回复
风拾光12 天前

思路清晰,干货满满。

回复
漾漾其华12 天前

这篇文章分析得很透彻,收藏了!

回复
墨沐雨11 天前

看标题就点进来了,内容果然没让人失望。

回复
风倚栏11 天前

思路清晰,干货满满。

回复
蓝光11 天前

整理得太全面了,省了我不少时间。

回复
雪影11 天前

思路清晰,干货满满。

回复
风拾光11 天前

讲解得很细致,新手也能看懂。

回复
月沐雨11 天前

思路清晰,干货满满。

回复
雪知秋11 天前

赞同,实践出真知。

回复
空向阳11 天前

不错不错,已加入书签。

回复
石佳琪11 天前

赞同,实践出真知。

回复