Pathways 是什么?大型模型的单客户端训练

📌 One-Sentence Summary
Pathways 是 Google 用于训练 Gemini 等大型模型的分布式系统,采用基于计算图的单客户端方式,在集群中协调计算、张量移动和容错。
📝 Summary
Pathways 是 Google 为训练 Gemini 等大型模型构建的分布式系统。它通过引入一个能够将完整计算描述为计算图的客户端,并由分布式运行时负责部署计算、移动张量和保持加速器满负荷运行,来应对大规模训练中的协调挑战。该系统突破了 SPMD(单程序多数据)执行模式的局限,因为这种模式难以处理流水线并行或 RL 循环等非均匀工作负载。Pathways 支持弹性训练,可通过重新映射任务绕过发生故障的主机来实现容错,并通过异步调度避免客户端成为瓶颈。它将模型构建与执行分离,使研究人员能够从整个集群的角度进行规划,而不必只关注单个分片。
💡 Main Points
Pathways 采用基于计算图的单客户端分布式训练方式
SPMD 要求每个加速器步调一致地运行相同程序;而 Pathways 允许单个 Python 客户端将完整计算描述为由程序块和张量组成的计算图,再由分布式运行时负责在集群中部署、移动和调度计算。
突破 SPMD 在非均匀工作负载方面的局限
SPMD 适用于均匀的训练任务,但在流水线并行和 RL 循环中表现不佳,因为采样器、奖励模型和训练器等不同程序需要并行运行。Pathways 支持多程序多数据(MPMD)执行模式。
通过弹性重新映射实现容错
主机发生故障时,Pathways 的资源管理器会将任务重新映射到正常工作的芯片上,无需重启整个作业,从而实现弹性训练,并能应对 Gemini 2.5 训练期间经历的频繁硬件故障。
异步调度避免客户端成为瓶颈
运行时会利用 futures 提前准备任务启动,并进行并行异步调度,让协调工作与计算并行进行,确保单个客户端不会成为各步骤之间的关键路径。
中央调度器避免流水线执行中的死锁
Pathways 设有中央调度器,可为不同设备上的各项程序操作安排统一顺序,避免流水线训练中的前向传播和反向传播相互冲突,导致设备组停滞。
💬 Key Quotes
Pathways 是 Google 为训练自家大型模型而构建的分布式系统,其中包括 Gemini。
使用 Pathways 时,你只需通过单个客户端,将计算一次性描述为由程序块及其间张量组成的计算图。
Pathways 弥合了这一差距。你只需声明一次依赖关系,运行时就会为你移动张量并重新分片。
Pathways 将模型构建与执行分离。你可以通过客户端选择模型如何划分到硬件上。
如果调度任务、移动张量并让整个集群保持繁忙让你想到了 Ray,那是有道理的。不过,它们作用于不同的层级。
📊 Article Meta
AI Screening: 88
Source: Google Developers Blog
Author: Sujeeth Jinesh, Shaurya Gupta, Luke Baumann, Monica Song, Ivan Nardini, Akanksha Gupta, Anthony Owusu, Jing Yang, Sadi Kneipp, Yu Li
Category: 人工智能
Language: 英文
Read Time: 11 min
Word Count: 2620
Tags:
AI 与智能应用 , 模型训练与推理 , 分布式系统 , AI 工程 , AI Agent
作者写得真不错,学到了不少。
思路清晰,干货满满。
讲解得很细致,新手也能看懂。
路过
这个观点很中肯,深有同感。
点赞,必须点赞
这个观点很中肯,深有同感。
实测过类似工具,作者说的基本属实。
作者写得真不错,学到了不少。
写得挺用心的,支持一下。
写得挺用心的,支持一下。
收藏了,以后慢慢研究。