在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏 | Amazon Web Services

林知秋行业资讯📡 BestBlogs·全站精选⭐ 912026-11-12247 阅读💛 178 收藏
在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏 | Amazon Web Services

📌 One-Sentence Summary

本文介绍了一套用于检测和恢复分布式训练中静默数据损坏(SDC)的三步策略,包括非有限梯度检查、环形重放审计和权重指纹比对,并将这些机制集成到 SageMaker HyperPod 环境中。

📝 Summary

静默数据损坏(SDC)是指硬件返回错误但看似合理的数值,却不触发任何错误,可能导致训练任务功亏一篑。本文介绍了一种解决方案,将三项检测机制嵌入 PyTorch DDP 训练循环:识别非有限梯度、审计微批次重放,以及比对权重指纹。检测到故障后,系统会将问题定位到具体的 GPU 节点,隔离数据损坏,并通过 SageMaker HyperPod 启动节点更换流程。

💡 Main Points

静默数据损坏(SDC)是分布式训练中的一种严重故障模式:硬件会返回错误数值,却不发出错误标记,导致梯度和权重遭到破坏。

与会触发错误代码的常见硬件故障不同,SDC 表现为细微但错误的计算结果(例如 4.0001 而不是 4.0000),并会在网络中传播。由于硬件不会报告故障,标准监控工具和 ECC 检查都无法发现问题,因此必须直接验证计算输出是否正确。

该解决方案在训练循环中集成了三种不同的检查机制来检测 SDC:非有限梯度检查、环形重放审计和权重指纹比对。

非有限梯度检查会标记本地梯度中的 NaN 或 Inf,以发现明显异常值。环形重放审计则让每个 GPU 重新计算来自另一个节点的微批次,并比对计算结果,以发现有限但错误的数值。权重指纹比对可确保所有副本上的最终模型权重保持一致,从而捕获优化器步骤或权重存储过程中发生的错误。

检测到故障后,系统会将问题定位到具体的 GPU 节点,隔离故障硬件,并启动恢复流程。

确定可疑 rank 后,系统会利用 Kubernetes 元数据将其映射到对应的物理主机(节点)。随后,系统会隔离故障节点,以防止数据继续损坏,并通过诊断检查验证其健康状况。如果确认节点存在故障,系统就会将其替换,并从干净的检查点重新启动训练任务。

💬 Key Quotes

SDC 会避开所有这些功能,因为硬件根本不会报告任何问题。检测必须由训练任务本身完成。

捕获 SDC 的方法,就是检查计算本身的结果。

全归约过程本身也可能发生故障,例如某个 GPU 错误地累加了部分和;这种故障同样会以完全相同的结果传递到每个副本。

📊 Article Meta

AI Screening: 91

Featured: Yes

Source: AWS Artificial Intelligence

Author: Siddharth Senger

Category: 人工智能

Language: 英文

Read Time: 30 min

Word Count: 7266

Tags:

AI 与智能应用 , AI 硬件与芯片 , PyTorch , AWS , SageMaker

#AI 与智能应用# AI 硬件与芯片# PyTorch# AWS# SageMaker

文章评论(12)

月沐雨3 天前

讲解得很细致,新手也能看懂。

回复
石佳琪3 天前

内容翔实,正好需要,先收藏再看。

回复
龙文博3 天前

很有价值的分享,感谢整理。

回复
空向阳3 天前

这个观点很中肯,深有同感。

回复
林拾贝3 天前

支持作者,持续关注中。

回复
一叶知秋3 天前

收藏了,以后慢慢研究。

回复
松听风3 天前

看标题就点进来了,内容果然没让人失望。

回复
星知秋3 天前

楼主辛苦了,内容很有参考价值。

回复
蓝光3 天前

这篇文章分析得很透彻,收藏了!

回复
武磊3 天前

不错不错,已加入书签。

回复
雪影3 天前

实测过类似工具,作者说的基本属实。

回复
郭超3 天前

看完了,收获满满,期待更多更新。

回复