Hugging Face ❤️ TorchTPU:TPU 原生支持
📌 One-Sentence Summary
Hugging Face 宣布通过 TorchTPU 后端原生支持 Google TPU 上的 PyTorch,让 Transformers、Diffusers 和 Kernels 无需大幅修改代码即可直接在 TPU 设备上运行,并显著提升性能。
📝 Summary
本文介绍了 Google 开发的全新 PyTorch 原生后端 TorchTPU。借助它,无需使用 torch_xla 或 JAX,就能在 TPU 上运行 PyTorch。文章展示了 TorchTPU 如何与 Hugging Face 生态无缝集成:Transformers 模型可通过 device_map="tpu" 加载,Diffusers 管线可通过 pipe.to("tpu") 运行,而 Kernels Hub 提供的自定义 Pallas 内核可让 MoE 模型的解码速度最高提升 21.5×。文章还提供了适用于 LLM、图像与视频生成以及内核注入的可运行代码示例,并展示了 Cloud TPU v6e 上的基准测试结果。持续集成测试显示,TPU 测试通过率为 96.5%;共报告 34 个问题,其中 19 个已在上游修复。安装只需运行一条 pip 命令,并指定 CPU torch 索引,以避免下载 CUDA 二进制包。
💡 Main Points
TorchTPU 为 Google TPU 提供原生 PyTorch 后端,取代了旧版 torch_xla 惰性张量方案
开发者现在可以编写标准的即时执行模式 PyTorch 代码,并将张量发送到「tpu」设备,无须面对 torch_xla 曾带来的计算图编译问题、惰性执行或调试困难。
Hugging Face 的库(Transformers、Diffusers、Kernels)以最少的 API 改动提供一流的 TPU 支持
Transformers 使用 device_map="tpu" 直接加载模型;Diffusers 支持即时执行模式和 torch.compile 模式,并可通过 TensorParallelConfig 进行张量并行分片;Kernels Hub 则提供可直接使用的 Pallas 内核来加速 MoE 模型。
自定义 TPU 内核可大幅提升大规模混合专家模型的速度
Kernels Hub 中的 Tokamax 不规则点积内核在 batch size 为 64 时,可让 Qwen3-30B-A3B 的解码速度提升 21.5×,让 Gemma 4 26B-A4B 提升 12.8×,展现了底层 Pallas 编程的价值。
Hugging Face 通过持续运行 TPU CI,在用户遇到问题前提升生态兼容性
每晚在 TPU 上运行的测试套件通过率为 96.5%;TorchTPU 已报告 34 个问题,其中 19 个已修复。此外,TPU 测试还发现了 Transformers 上游的问题,并推动修复 StaticCache 和 Qwen3 张量并行方案。
安装简单且可通过云端使用,降低了 PyTorch 用户采用 TPU 算力的门槛
使用带有 --extra-index-url 的单条 pip 安装命令,并选择 CPU 版 torch,即可避免下载庞大的 CUDA wheel。Google Cloud 提供从单颗芯片到大型 TPU Pod 的资源,让 PyTorch 团队能够切实开展大规模训练与服务部署。
💬 Key Quotes
借助 TorchTPU 这个 PyTorch 原生后端,TPU 现在只是另一种设备。
Transformers v5 围绕一个理念构建:成为模型定义的唯一可信来源,让模型可以在任何地方运行。「任何地方」现在也包括 TPU。
批次越大,收益越大。batch size 为 64 时,Qwen3-30B-A3B 的解码速度提升 21.5×,Gemma 4 26B-A4B 的解码速度提升 12.8×。
在 TPU 上运行的测试中,96.5% 都能通过。我们发现的每个失败案例,都会被整理成一个精简复现脚本,并作为问题提交到 TorchTPU 仓库。
📊 Article Meta
AI Screening: 87
Source: Hugging Face - Blog
Author: Alvaro Moran, Jingya Huang, Simon Pagezy, Jeff Boudier, Régis Pierrard
Category: 软件编程
Language: 英文
Read Time: 5 min
Word Count: 1085
Tags:
编程与工程 , AI 硬件与芯片 , 模型训练与推理 , AI 工程 , 性能优化
讲解得很细致,新手也能看懂。
路过
实话,说的不明不白
内容翔实,正好需要,先收藏再看。
作者写得真不错,学到了不少。
这个观点很中肯,深有同感。
楼主辛苦了,内容很有参考价值。
看完了,收获满满,期待更多更新。
讲解得很细致,新手也能看懂。
这个比较实用,已转发给同事。
刚好最近在找这方面的资料,太及时了。
实测过类似工具,作者说的基本属实。