TorchTPU 现已开源:在 TPU 上运行原生 PyTorch

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 912026-10-20711 阅读💛 287 收藏
TorchTPU 现已开源:在 TPU 上运行原生 PyTorch

📌 One-Sentence Summary

Google 已将 TorchTPU 开源,让开发者只需进行少量代码改动,就能在 TPU 上运行原生 PyTorch 工作负载,并与 vLLM、SGLang 和 Ray 等关键框架集成。

📝 Summary

在 PyTorch Conference 上,Google 宣布开源 TorchTPU。这是一套面向 Google TPU 的原生 PyTorch 技术栈,由 Google 与 Meta 共同开发。借助熟悉的 API,用户可以在 TPU 上运行现有 PyTorch 工作负载,并通过 torch.compile 从即时模式调试过渡到生产级性能。该生态支持与 Hugging Face 集成以原生支持模型,借助 vLLM 实现高吞吐量服务,使用 SGLang 处理智能体工作负载,并通过 VeRL 开展强化学习。此外,Ray 支持异构计算编排。这些举措旨在让开发者能够灵活地在 TPU、GPU 和 CPU 上扩展 AI 模型,同时保持一致的开放软件模式。

💡 Main Points

TorchTPU 现已开源

TorchTPU 由 Google 与 Meta 共同开发,只需少量代码改动,就能在 TPU 上运行现有 PyTorch 工作负载,并支持标准 API 和用于优化的 torch.compile。

与 AI 框架深度集成

通过与 Hugging Face 合作,TorchTPU 支持原生模型;vLLM 可提供高吞吐量服务,SGLang 则通过类似 RadixAttention 的机制加速智能体工作负载。

优化推理与集群编排

llm-d 1.0 版本提供原生支持 CNCF 的集群编排,并通过感知前缀缓存的路由提升吞吐量、降低延迟。

借助 Ray 实现异构计算

原生支持 Ray 后,开发者可以在单一工作流中协调 CPU、GPU 和 TPU 上的数据处理、训练与服务。

通过 VeRL 开展强化学习

Google 已将 TPU 后端和 VeRL 参考配置上游提交,让用户能够在 TPU 上部署 GRPO 等分布式强化学习工作负载。

💬 Key Quotes

TorchTPU 让你只需进行少量代码改动,就能通过熟悉的 API 在 TPU 上运行现有 PyTorch 工作负载。

TorchTPU 支持你先用即时模式调试模型,再通过 torch.compile 过渡到生产级性能,从而优化 TPU 利用率并减少内存开销。

我们为你提供灵活性,让你能够在 TPU、GPU 和 CPU 上构建、适配并扩展 AI。

📊 Article Meta

AI Screening: 91

Source: Google Cloud Blog

Author: Mark Lohmeyer, Bill Jia

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1794

Tags:

AI 与智能应用 , 机器学习 , 开源项目 , LLM 推理优化 , AI 硬件与芯片

#AI 与智能应用# 机器学习# 开源项目# LLM 推理优化# AI 硬件与芯片

文章评论(12)

杨丽华26 天前

思路清晰,干货满满。

回复
暮临风26 天前

讲解得很细致,新手也能看懂。

回复
松听风26 天前

写得挺用心的,支持一下。

回复
星寻梦26 天前

收藏了,以后慢慢研究。

回复
龙文博26 天前

讲解得很细致,新手也能看懂。

回复
崔欣怡26 天前

这个比较实用,已转发给同事。

回复
雪影26 天前

刚好最近在找这方面的资料,太及时了。

回复
晨沐雨26 天前

这个观点很中肯,深有同感。

回复
陈皮话梅糖26 天前

支持作者,持续关注中。

回复
杨丽华26 天前

刚好最近在找这方面的资料,太及时了。

回复
雪知秋26 天前

收藏了,以后慢慢研究。

回复
竹听风26 天前

支持作者,持续关注中。

回复