使用 Amazon SageMaker HyperPod 与 Qumulo 进行多区域训练 | Amazon Web Services

📌 One-Sentence Summary

AWS 与 Qumulo 展示了一种基于 SageMaker HyperPod 和 Cloud Data Fabric 的多区域训练架构，通过预测性缓存消除跨区域数据延迟惩罚。

📝 Summary

本技术指南针对将 AI 训练计算放在一个 AWS 区域、而将数据集保留在另一个区域所带来的显著网络延迟与传输成本问题。解决方案将 Amazon SageMaker HyperPod 与 Qumulo 的 Cloud Native（CNQ）存储及 Cloud Data Fabric（CDF）相结合。通过利用 CDF 的 NeuralCache——一个 AI 驱动的预测性缓存层——系统学习数据加载器的访问模式，并将数据预取到分支集群的本地 NVMe 存储上。验证结果表明，在经历 100-150 个批次的初始预热期后，位于美国西部（俄勒冈）的远程集群达到了与位于美国东部（俄亥俄）的同地枢纽集群完全相同的吞吐量（115-117 样本/秒），在无需完整数据复制或代码更改的情况下，维持超过 98% 的 GPU 利用率。

💡 Main Points

通过预测性缓存消除跨区域延迟

Qumulo 的 NeuralCache 使用 AI 模型，根据顺序读取模式预测训练任务接下来需要的 4KB 数据块。它将这些数据块预缓存到分支集群的本地 NVMe 上，使后续读取低于 5ms，从而有效隐藏广域网延迟。

冷启动预热对大规模训练的影响可忽略不计

虽然前 100-150 个批次因缓存预热而运行较慢，但对于超过 10，000 个批次的任务，这一开销占实际运行时间的比例不到 1%。对于涉及数十万步的前沿模型训练，与避免 PB 级数据复制所节省的成本相比，这一一次性成本在统计上微不足道。

计算与数据主权的架构分离

该解决方案允许团队将敏感训练数据保留在特定区域（例如出于合规或成本原因），同时访问其他区域的稀缺 GPU 容量。这在不妨碍训练吞吐量的情况下，将基础设施可用性与数据位置解耦。

💬 Key Quotes

训练大型 AI 模型需要海量 GPU 容量，但理想的计算资源和训练数据并不总是位于同一个 AWS 区域。

经过短暂预热后，分支集群的性能便与枢纽集群持平。

NeuralCache 观察训练数据加载器发出的顺序 4 KB 块读取，并学习其访问模式。随后，它会在任务发出请求之前预测性地放置数据。

吞吐量在前 100-150 个批次内即收敛，且这一一次性预热在大规模下可忽略不计：在 10，000+ 批次时占实际运行时间不到 1%……

📊 Article Meta

AI Screening： 86

Source： AWS Artificial Intelligence

Author： Bryan Berezdivin

Category： 人工智能

Language： 英文

Read Time： 15 min

Word Count： 3583

Tags：

AI 与智能应用 , 云原生 / DevOps , 性能优化 , 模型训练与推理 , 分布式系统