在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏 | Amazon Web Services

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 912026-11-12372 阅读💛 32 收藏
在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏 | Amazon Web Services

📌 One-Sentence Summary

本文介绍了一套用于检测和恢复分布式训练中静默数据损坏(SDC)的三步策略,包括非有限梯度检查、环形重放审计和权重指纹比对,并将这些机制集成到 SageMaker HyperPod 环境中。

📝 Summary

静默数据损坏(SDC)是指硬件返回错误但看似合理的数值,却不触发任何错误,可能导致训练任务功亏一篑。本文介绍了一种解决方案,将三项检测机制嵌入 PyTorch DDP 训练循环:识别非有限梯度、审计微批次重放,以及比对权重指纹。检测到故障后,系统会将问题定位到具体的 GPU 节点,隔离数据损坏,并通过 SageMaker HyperPod 启动节点更换流程。

💡 Main Points

静默数据损坏(SDC)是分布式训练中的一种严重故障模式:硬件会返回错误数值,却不发出错误标记,导致梯度和权重遭到破坏。

与会触发错误代码的常见硬件故障不同,SDC 表现为细微但错误的计算结果(例如 4.0001 而不是 4.0000),并会在网络中传播。由于硬件不会报告故障,标准监控工具和 ECC 检查都无法发现问题,因此必须直接验证计算输出是否正确。

该解决方案在训练循环中集成了三种不同的检查机制来检测 SDC:非有限梯度检查、环形重放审计和权重指纹比对。

非有限梯度检查会标记本地梯度中的 NaN 或 Inf,以发现明显异常值。环形重放审计则让每个 GPU 重新计算来自另一个节点的微批次,并比对计算结果,以发现有限但错误的数值。权重指纹比对可确保所有副本上的最终模型权重保持一致,从而捕获优化器步骤或权重存储过程中发生的错误。

检测到故障后,系统会将问题定位到具体的 GPU 节点,隔离故障硬件,并启动恢复流程。

确定可疑 rank 后,系统会利用 Kubernetes 元数据将其映射到对应的物理主机(节点)。随后,系统会隔离故障节点,以防止数据继续损坏,并通过诊断检查验证其健康状况。如果确认节点存在故障,系统就会将其替换,并从干净的检查点重新启动训练任务。

💬 Key Quotes

SDC 会避开所有这些功能,因为硬件根本不会报告任何问题。检测必须由训练任务本身完成。

捕获 SDC 的方法,就是检查计算本身的结果。

全归约过程本身也可能发生故障,例如某个 GPU 错误地累加了部分和;这种故障同样会以完全相同的结果传递到每个副本。

📊 Article Meta

AI Screening: 91

Featured: Yes

Source: AWS Artificial Intelligence

Author: Siddharth Senger

Category: 人工智能

Language: 英文

Read Time: 30 min

Word Count: 7266

Tags:

AI 与智能应用 , AI 硬件与芯片 , PyTorch , AWS , SageMaker

#AI 与智能应用# AI 硬件与芯片# PyTorch# AWS# SageMaker

文章评论(12)

星观澜3 天前

思路清晰,干货满满。

回复
蓝临风3 天前

支持作者,持续关注中。

回复
暮拾贝3 天前

这个比较实用,已转发给同事。

回复
墨沐雨3 天前

很有价值的分享,感谢整理。

回复
星寻梦3 天前

这篇文章分析得很透彻,收藏了!

回复
逐光而行3 天前

看完了,收获满满,期待更多更新。

回复
蓝光3 天前

这篇文章分析得很透彻,收藏了!

回复
墨沐雨3 天前

讲解得很细致,新手也能看懂。

回复
星寻梦3 天前

点赞,必须点赞

回复
林观澜3 天前

这个比较实用,已转发给同事。

回复
雪影3 天前

赞同,实践出真知。

回复
曹浩3 天前

支持作者,持续关注中。

回复