Google 与 Meta 发布 TorchTPU:PyTorch 原生 TPU 后端

📌 One-Sentence Summary
Google 与 Meta 联合发布 TorchTPU,这是面向 Google TPU 的 PyTorch 原生后端,支持通过 `.to("tpu")` 无缝迁移,并借助即时模式优化、torch.compile 集成和原生分布式支持,提供具有竞争力的性能。
📝 Summary
PyTorch 博客宣布推出 TorchTPU。这是 Google 与 Meta 合作开发的开源项目,旨在为 Google TPU 提供遵循设计原则的原生后端。与此前的 Lazy Tensor 方案(PyTorch/XLA)不同,TorchTPU 优先支持即时执行,让现有 PyTorch 工作负载只需极少的代码改动即可运行。文章详细介绍了其架构:三种即时模式(Strict、Debug、DeferAndFuse),其中混合模式 DeferAndFuse 通过算子融合带来 50% 以上的加速;采用 192 位指纹作为键的三级编译缓存(L1/L2/L3);默认使用与 TPU 硬件相匹配的 BF16 运算和 FP32 累加;通过视图分解与还原衔接视图语义;支持 Stream 和 SparseCore,以实现计算与通信重叠;通过 Dynamo 集成 torch.compile;采用有界动态性避免因形状变化而重新编译;并通过 Pallas/JAX、Tokamax 和 Helion DSL 支持自定义内核。分布式集合通信在 Process Group API 层实现,确保兼容 DDP、FSDP 和 DTensor。该技术栈已在 5,000+ 个 Hugging Face 模型上验证,并与 vLLM、SGLang、TorchTitan 和 Ray 集成,支持生产环境中的推理与训练。
💡 Main Points
TorchTPU 是 PyTorch 的一等原生后端(PrivateUse1),优先支持即时执行,实现无需改写代码即可迁移。
不同于需要大幅改动的 PyTorch/XLA Lazy Tensor 方案,TorchTPU 注册了 C++ 分发器后端,可直接替换为 `.to("tpu")`。它将即时执行作为一等功能,并支持稳健的自动求导以及与生态工具(profiler、DTensor、Ray)的无缝集成。
DeferAndFuse 引入了新型即时执行与编译混合模式,相较严格即时执行可提速 50% 以上。
TorchTPU 会将 Aten 算子延迟到实际物化时(例如 `.to("cpu")`)再组成 StableHLO 图,从而将多个算子融合为更大的编译块,减少启动开销和 HBM 峰值占用,同时保留即时执行语义和动态控制流。
通过 Process Group API 提供全面的分布式支持,兼容 DDP、FSDP 和 DTensor。
集合通信以 StableHLO 算子的形式实现,并在 `c10d::Backend` 层拦截,采用每个设备对应每个进程的模型。这使 PyTorch 分布式框架和 Ray 等编排工具可以直接使用,无需修改,支持多主机训练以及 vLLM、SGLang 等推理工作负载。
与硬件匹配的数值格式(BF16/FP32)和多级编译缓存可提升 TPU 利用率。
默认的「medium」精度采用 TPU 原生 BF16 MXU,并以 FP32 累加。三级缓存(进程、主机、持久化 GCS)使用 192 位指纹(包含形状、维度和选项)作为键,可避免不同运行和作业重复进行 XLA 编译。
通过 Pallas/JAX、Tokamax 库和 Helion DSL 构建可扩展的内核生态。
开发者可以使用 Pallas 编写自定义内核(通过 `torch.tpu.pallas.jax_op` 封装),利用高性能 Tokamax 库(支持 MoE 和多种注意力变体),也可以使用面向多加速器的实验性 Helion DSL;这些方案均提供原生 PyTorch API。
💬 Key Quotes
TorchTPU 是遵循设计原则为 PyTorch 构建的 TPU 后端:即时执行是首要目标,现有 PyTorch 工作负载应当开箱即用,只需极少的代码改动(例如从 `.to("cuda")` 改为 `.to("tpu")`)。
DeferAndFuse 是 TorchTPU 引入的一种新型即时执行与编译混合模式,速度比 Strict Eager 快 50% 或更多,同时降低 HBM 峰值内存占用。
已验证可开箱运行 Hugging Face 下载量最高的 5,000 个模型,其中包括:LLM:Qwen、DeepSeek、Gemma、LLama、Mistral、GPT、OPT、BLOOM、Falcon、StableML。
📊 Article Meta
AI Screening: 87
Source: AIHOT — 精选
Author: noreply@aihot.news (PyTorch:Blog)
Category: 人工智能
Language: 英文
Read Time: 74 min
Word Count: 18475
Tags:
AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , AI 工程 , 开源项目
看标题就点进来了,内容果然没让人失望。
点赞,必须点赞
思路清晰,干货满满。
这个比较实用,已转发给同事。
这个观点很中肯,深有同感。
作者写得真不错,学到了不少。
有没有更详细的教程,期待后续。
赞同,实践出真知。
写得挺用心的,支持一下。
整理得太全面了,省了我不少时间。
刚好最近在找这方面的资料,太及时了。
思路清晰,干货满满。