Google 与 Meta 发布 TorchTPU:PyTorch 原生 TPU 后端

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-10-21605 阅读💛 228 收藏
Google 与 Meta 发布 TorchTPU:PyTorch 原生 TPU 后端

📌 One-Sentence Summary

Google 与 Meta 联合发布 TorchTPU,这是面向 Google TPU 的 PyTorch 原生后端,支持通过 `.to("tpu")` 无缝迁移,并借助即时模式优化、torch.compile 集成和原生分布式支持,提供具有竞争力的性能。

📝 Summary

PyTorch 博客宣布推出 TorchTPU。这是 Google 与 Meta 合作开发的开源项目,旨在为 Google TPU 提供遵循设计原则的原生后端。与此前的 Lazy Tensor 方案(PyTorch/XLA)不同,TorchTPU 优先支持即时执行,让现有 PyTorch 工作负载只需极少的代码改动即可运行。文章详细介绍了其架构:三种即时模式(Strict、Debug、DeferAndFuse),其中混合模式 DeferAndFuse 通过算子融合带来 50% 以上的加速;采用 192 位指纹作为键的三级编译缓存(L1/L2/L3);默认使用与 TPU 硬件相匹配的 BF16 运算和 FP32 累加;通过视图分解与还原衔接视图语义;支持 Stream 和 SparseCore,以实现计算与通信重叠;通过 Dynamo 集成 torch.compile;采用有界动态性避免因形状变化而重新编译;并通过 Pallas/JAX、Tokamax 和 Helion DSL 支持自定义内核。分布式集合通信在 Process Group API 层实现,确保兼容 DDP、FSDP 和 DTensor。该技术栈已在 5,000+ 个 Hugging Face 模型上验证,并与 vLLM、SGLang、TorchTitan 和 Ray 集成,支持生产环境中的推理与训练。

💡 Main Points

TorchTPU 是 PyTorch 的一等原生后端(PrivateUse1),优先支持即时执行,实现无需改写代码即可迁移。

不同于需要大幅改动的 PyTorch/XLA Lazy Tensor 方案,TorchTPU 注册了 C++ 分发器后端,可直接替换为 `.to("tpu")`。它将即时执行作为一等功能,并支持稳健的自动求导以及与生态工具(profiler、DTensor、Ray)的无缝集成。

DeferAndFuse 引入了新型即时执行与编译混合模式,相较严格即时执行可提速 50% 以上。

TorchTPU 会将 Aten 算子延迟到实际物化时(例如 `.to("cpu")`)再组成 StableHLO 图,从而将多个算子融合为更大的编译块,减少启动开销和 HBM 峰值占用,同时保留即时执行语义和动态控制流。

通过 Process Group API 提供全面的分布式支持,兼容 DDP、FSDP 和 DTensor。

集合通信以 StableHLO 算子的形式实现,并在 `c10d::Backend` 层拦截,采用每个设备对应每个进程的模型。这使 PyTorch 分布式框架和 Ray 等编排工具可以直接使用,无需修改,支持多主机训练以及 vLLM、SGLang 等推理工作负载。

与硬件匹配的数值格式(BF16/FP32)和多级编译缓存可提升 TPU 利用率。

默认的「medium」精度采用 TPU 原生 BF16 MXU,并以 FP32 累加。三级缓存(进程、主机、持久化 GCS)使用 192 位指纹(包含形状、维度和选项)作为键,可避免不同运行和作业重复进行 XLA 编译。

通过 Pallas/JAX、Tokamax 库和 Helion DSL 构建可扩展的内核生态。

开发者可以使用 Pallas 编写自定义内核(通过 `torch.tpu.pallas.jax_op` 封装),利用高性能 Tokamax 库(支持 MoE 和多种注意力变体),也可以使用面向多加速器的实验性 Helion DSL;这些方案均提供原生 PyTorch API。

💬 Key Quotes

TorchTPU 是遵循设计原则为 PyTorch 构建的 TPU 后端:即时执行是首要目标,现有 PyTorch 工作负载应当开箱即用,只需极少的代码改动(例如从 `.to("cuda")` 改为 `.to("tpu")`)。

DeferAndFuse 是 TorchTPU 引入的一种新型即时执行与编译混合模式,速度比 Strict Eager 快 50% 或更多,同时降低 HBM 峰值内存占用。

已验证可开箱运行 Hugging Face 下载量最高的 5,000 个模型,其中包括:LLM:Qwen、DeepSeek、Gemma、LLama、Mistral、GPT、OPT、BLOOM、Falcon、StableML。

📊 Article Meta

AI Screening: 87

Source: AIHOT — 精选

Author: noreply@aihot.news (PyTorch:Blog)

Category: 人工智能

Language: 英文

Read Time: 74 min

Word Count: 18475

Tags:

AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , AI 工程 , 开源项目

#AI 与智能应用# AI 硬件与芯片# 模型训练与推理# AI 工程# 开源项目

文章评论(12)

石佳琪25 天前

看标题就点进来了,内容果然没让人失望。

回复
风倚栏26 天前

点赞,必须点赞

回复
石佳琪25 天前

思路清晰,干货满满。

回复
星知秋25 天前

这个比较实用,已转发给同事。

回复
邱文博25 天前

这个观点很中肯,深有同感。

回复
星观澜25 天前

作者写得真不错,学到了不少。

回复
漾漾其华25 天前

有没有更详细的教程,期待后续。

回复
拾贝者25 天前

赞同,实践出真知。

回复
石佳琪25 天前

写得挺用心的,支持一下。

回复
南山客25 天前

整理得太全面了,省了我不少时间。

回复
风倚栏25 天前

刚好最近在找这方面的资料,太及时了。

回复
雪影25 天前

思路清晰,干货满满。

回复