Hugging Face ❤️ TorchTPU:TPU 原生支持

清风徐来AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-10-2138 阅读💛 273 收藏
Hugging Face ❤️ TorchTPU:TPU 原生支持

📌 One-Sentence Summary

Hugging Face 宣布通过 TorchTPU 后端原生支持 Google TPU 上的 PyTorch,让 Transformers、Diffusers 和 Kernels 无需大幅修改代码即可直接在 TPU 设备上运行,并显著提升性能。

📝 Summary

本文介绍了 Google 开发的全新 PyTorch 原生后端 TorchTPU。借助它,无需使用 torch_xla 或 JAX,就能在 TPU 上运行 PyTorch。文章展示了 TorchTPU 如何与 Hugging Face 生态无缝集成:Transformers 模型可通过 device_map="tpu" 加载,Diffusers 管线可通过 pipe.to("tpu") 运行,而 Kernels Hub 提供的自定义 Pallas 内核可让 MoE 模型的解码速度最高提升 21.5×。文章还提供了适用于 LLM、图像与视频生成以及内核注入的可运行代码示例,并展示了 Cloud TPU v6e 上的基准测试结果。持续集成测试显示,TPU 测试通过率为 96.5%;共报告 34 个问题,其中 19 个已在上游修复。安装只需运行一条 pip 命令,并指定 CPU torch 索引,以避免下载 CUDA 二进制包。

💡 Main Points

TorchTPU 为 Google TPU 提供原生 PyTorch 后端,取代了旧版 torch_xla 惰性张量方案

开发者现在可以编写标准的即时执行模式 PyTorch 代码,并将张量发送到「tpu」设备,无须面对 torch_xla 曾带来的计算图编译问题、惰性执行或调试困难。

Hugging Face 的库(Transformers、Diffusers、Kernels)以最少的 API 改动提供一流的 TPU 支持

Transformers 使用 device_map="tpu" 直接加载模型;Diffusers 支持即时执行模式和 torch.compile 模式,并可通过 TensorParallelConfig 进行张量并行分片;Kernels Hub 则提供可直接使用的 Pallas 内核来加速 MoE 模型。

自定义 TPU 内核可大幅提升大规模混合专家模型的速度

Kernels Hub 中的 Tokamax 不规则点积内核在 batch size 为 64 时,可让 Qwen3-30B-A3B 的解码速度提升 21.5×,让 Gemma 4 26B-A4B 提升 12.8×,展现了底层 Pallas 编程的价值。

Hugging Face 通过持续运行 TPU CI,在用户遇到问题前提升生态兼容性

每晚在 TPU 上运行的测试套件通过率为 96.5%;TorchTPU 已报告 34 个问题,其中 19 个已修复。此外,TPU 测试还发现了 Transformers 上游的问题,并推动修复 StaticCache 和 Qwen3 张量并行方案。

安装简单且可通过云端使用,降低了 PyTorch 用户采用 TPU 算力的门槛

使用带有 --extra-index-url 的单条 pip 安装命令,并选择 CPU 版 torch,即可避免下载庞大的 CUDA wheel。Google Cloud 提供从单颗芯片到大型 TPU Pod 的资源,让 PyTorch 团队能够切实开展大规模训练与服务部署。

💬 Key Quotes

借助 TorchTPU 这个 PyTorch 原生后端,TPU 现在只是另一种设备。

Transformers v5 围绕一个理念构建:成为模型定义的唯一可信来源,让模型可以在任何地方运行。「任何地方」现在也包括 TPU。

批次越大,收益越大。batch size 为 64 时,Qwen3-30B-A3B 的解码速度提升 21.5×,Gemma 4 26B-A4B 的解码速度提升 12.8×。

在 TPU 上运行的测试中,96.5% 都能通过。我们发现的每个失败案例,都会被整理成一个精简复现脚本,并作为问题提交到 TorchTPU 仓库。

📊 Article Meta

AI Screening: 87

Source: Hugging Face - Blog

Author: Alvaro Moran, Jingya Huang, Simon Pagezy, Jeff Boudier, Régis Pierrard

Category: 软件编程

Language: 英文

Read Time: 5 min

Word Count: 1085

Tags:

编程与工程 , AI 硬件与芯片 , 模型训练与推理 , AI 工程 , 性能优化

#编程与工程# AI 硬件与芯片# 模型训练与推理# AI 工程# 性能优化

文章评论(12)

三分糖去冰26 天前

讲解得很细致,新手也能看懂。

回复
陈皮话梅糖26 天前

路过

回复
林观澜26 天前

实话,说的不明不白

回复
风倚栏26 天前

内容翔实,正好需要,先收藏再看。

回复
逐光而行26 天前

作者写得真不错,学到了不少。

回复
蓝归舟26 天前

这个观点很中肯,深有同感。

回复
暮临风26 天前

楼主辛苦了,内容很有参考价值。

回复
邱文博26 天前

看完了,收获满满,期待更多更新。

回复
星知秋26 天前

讲解得很细致,新手也能看懂。

回复
吴超26 天前

这个比较实用,已转发给同事。

回复
白向阳26 天前

刚好最近在找这方面的资料,太及时了。

回复
松听风26 天前

实测过类似工具,作者说的基本属实。

回复