Pathways 是什么?大型模型的单客户端训练

邱宇AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-09883 阅读💛 295 收藏
Pathways 是什么?大型模型的单客户端训练

📌 One-Sentence Summary

Pathways 是 Google 用于训练 Gemini 等大型模型的分布式系统,采用基于计算图的单客户端方式,在集群中协调计算、张量移动和容错。

📝 Summary

Pathways 是 Google 为训练 Gemini 等大型模型构建的分布式系统。它通过引入一个能够将完整计算描述为计算图的客户端,并由分布式运行时负责部署计算、移动张量和保持加速器满负荷运行,来应对大规模训练中的协调挑战。该系统突破了 SPMD(单程序多数据)执行模式的局限,因为这种模式难以处理流水线并行或 RL 循环等非均匀工作负载。Pathways 支持弹性训练,可通过重新映射任务绕过发生故障的主机来实现容错,并通过异步调度避免客户端成为瓶颈。它将模型构建与执行分离,使研究人员能够从整个集群的角度进行规划,而不必只关注单个分片。

💡 Main Points

Pathways 采用基于计算图的单客户端分布式训练方式

SPMD 要求每个加速器步调一致地运行相同程序;而 Pathways 允许单个 Python 客户端将完整计算描述为由程序块和张量组成的计算图,再由分布式运行时负责在集群中部署、移动和调度计算。

突破 SPMD 在非均匀工作负载方面的局限

SPMD 适用于均匀的训练任务,但在流水线并行和 RL 循环中表现不佳,因为采样器、奖励模型和训练器等不同程序需要并行运行。Pathways 支持多程序多数据(MPMD)执行模式。

通过弹性重新映射实现容错

主机发生故障时,Pathways 的资源管理器会将任务重新映射到正常工作的芯片上,无需重启整个作业,从而实现弹性训练,并能应对 Gemini 2.5 训练期间经历的频繁硬件故障。

异步调度避免客户端成为瓶颈

运行时会利用 futures 提前准备任务启动,并进行并行异步调度,让协调工作与计算并行进行,确保单个客户端不会成为各步骤之间的关键路径。

中央调度器避免流水线执行中的死锁

Pathways 设有中央调度器,可为不同设备上的各项程序操作安排统一顺序,避免流水线训练中的前向传播和反向传播相互冲突,导致设备组停滞。

💬 Key Quotes

Pathways 是 Google 为训练自家大型模型而构建的分布式系统,其中包括 Gemini。

使用 Pathways 时,你只需通过单个客户端,将计算一次性描述为由程序块及其间张量组成的计算图。

Pathways 弥合了这一差距。你只需声明一次依赖关系,运行时就会为你移动张量并重新分片。

Pathways 将模型构建与执行分离。你可以通过客户端选择模型如何划分到硬件上。

如果调度任务、移动张量并让整个集群保持繁忙让你想到了 Ray,那是有道理的。不过,它们作用于不同的层级。

📊 Article Meta

AI Screening: 88

Source: Google Developers Blog

Author: Sujeeth Jinesh, Shaurya Gupta, Luke Baumann, Monica Song, Ivan Nardini, Akanksha Gupta, Anthony Owusu, Jing Yang, Sadi Kneipp, Yu Li

Category: 人工智能

Language: 英文

Read Time: 11 min

Word Count: 2620

Tags:

AI 与智能应用 , 模型训练与推理 , 分布式系统 , AI 工程 , AI Agent

#AI 与智能应用# 模型训练与推理# 分布式系统# AI 工程# AI Agent

文章评论(12)

石佳琪6 天前

作者写得真不错,学到了不少。

回复
蓝光6 天前

思路清晰,干货满满。

回复
月沐雨6 天前

讲解得很细致,新手也能看懂。

回复
风倚栏6 天前

路过

回复
南山客6 天前

这个观点很中肯,深有同感。

回复
云逐月6 天前

点赞,必须点赞

回复
星知秋6 天前

这个观点很中肯,深有同感。

回复
星知秋6 天前

实测过类似工具,作者说的基本属实。

回复
月沐雨6 天前

作者写得真不错,学到了不少。

回复
松听风6 天前

写得挺用心的,支持一下。

回复
山问津6 天前

写得挺用心的,支持一下。

回复
漾漾其华6 天前

收藏了,以后慢慢研究。

回复