在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏 | Amazon Web Services

📌 One-Sentence Summary
本文介绍了一套用于检测和恢复分布式训练中静默数据损坏(SDC)的三步策略,包括非有限梯度检查、环形重放审计和权重指纹比对,并将这些机制集成到 SageMaker HyperPod 环境中。
📝 Summary
静默数据损坏(SDC)是指硬件返回错误但看似合理的数值,却不触发任何错误,可能导致训练任务功亏一篑。本文介绍了一种解决方案,将三项检测机制嵌入 PyTorch DDP 训练循环:识别非有限梯度、审计微批次重放,以及比对权重指纹。检测到故障后,系统会将问题定位到具体的 GPU 节点,隔离数据损坏,并通过 SageMaker HyperPod 启动节点更换流程。
💡 Main Points
静默数据损坏(SDC)是分布式训练中的一种严重故障模式:硬件会返回错误数值,却不发出错误标记,导致梯度和权重遭到破坏。
与会触发错误代码的常见硬件故障不同,SDC 表现为细微但错误的计算结果(例如 4.0001 而不是 4.0000),并会在网络中传播。由于硬件不会报告故障,标准监控工具和 ECC 检查都无法发现问题,因此必须直接验证计算输出是否正确。
该解决方案在训练循环中集成了三种不同的检查机制来检测 SDC:非有限梯度检查、环形重放审计和权重指纹比对。
非有限梯度检查会标记本地梯度中的 NaN 或 Inf,以发现明显异常值。环形重放审计则让每个 GPU 重新计算来自另一个节点的微批次,并比对计算结果,以发现有限但错误的数值。权重指纹比对可确保所有副本上的最终模型权重保持一致,从而捕获优化器步骤或权重存储过程中发生的错误。
检测到故障后,系统会将问题定位到具体的 GPU 节点,隔离故障硬件,并启动恢复流程。
确定可疑 rank 后,系统会利用 Kubernetes 元数据将其映射到对应的物理主机(节点)。随后,系统会隔离故障节点,以防止数据继续损坏,并通过诊断检查验证其健康状况。如果确认节点存在故障,系统就会将其替换,并从干净的检查点重新启动训练任务。
💬 Key Quotes
SDC 会避开所有这些功能,因为硬件根本不会报告任何问题。检测必须由训练任务本身完成。
捕获 SDC 的方法,就是检查计算本身的结果。
全归约过程本身也可能发生故障,例如某个 GPU 错误地累加了部分和;这种故障同样会以完全相同的结果传递到每个副本。
📊 Article Meta
AI Screening: 91
Featured: Yes
Source: AWS Artificial Intelligence
Author: Siddharth Senger
Category: 人工智能
Language: 英文
Read Time: 30 min
Word Count: 7266
Tags:
AI 与智能应用 , AI 硬件与芯片 , PyTorch , AWS , SageMaker
思路清晰,干货满满。
支持作者,持续关注中。
这个比较实用,已转发给同事。
很有价值的分享,感谢整理。
这篇文章分析得很透彻,收藏了!
看完了,收获满满,期待更多更新。
这篇文章分析得很透彻,收藏了!
讲解得很细致,新手也能看懂。
点赞,必须点赞
这个比较实用,已转发给同事。
赞同,实践出真知。
支持作者,持续关注中。