推出 TPU 上全新的 vLLM 和 SGLang 推理引擎

王者归来已是老翁行业资讯📡 BestBlogs·全站精选⭐ 932026-10-21789 阅读💛 120 收藏
推出 TPU 上全新的 vLLM 和 SGLang 推理引擎

📌 One-Sentence Summary

Google 推出适用于 vLLM 和 SGLang 的原生 PyTorch 后端,让 TPU 能够为智能体和多模态工作负载提供高性能、可定制的推理能力。

📝 Summary

基于 TorchTPU 构建的全新 vLLM 和 SGLang 引擎,为在 Google TPU 上运行 AI 推理提供了完整集成的开源方案。这些引擎支持广泛的生产工作负载,包括智能体、多模态和长上下文任务,并具备自动前缀缓存、推测解码和解耦式服务等功能。此次发布还得到了社区伙伴的大力支持,并公布了基准测试结果,展现出业界领先的性能。

💡 Main Points

原生支持 PyTorch

这些引擎基于 TorchTPU 构建,开发者可以使用标准 PyTorch 语法和工具编写、调试推理代码,无需依赖 JAX 或专用封装。

全面支持各类工作负载

借助 KV 缓存卸载和数据并行注意力等功能,这些引擎能够处理多轮对话、高吞吐量批处理和长上下文任务等多种复杂工作负载。

与社区协作

这些引擎的开发得到了 vLLM 原始创建团队 Inferact 和 SGLang 原始创建团队 RadixArk 的密切合作,确保后端与上游项目深度集成并保持一致。

公开验证性能

Google 在 SemiAnalysis InferenceX 排行榜上公布了测试结果,显示新引擎实现了最低的每 token 成本和出色的交互性评分,证明其已具备投入生产的能力。

💬 Key Quotes

我们不断听到开发者表示,他们希望使用 PyTorch 定制和调试自己的服务技术栈。

这两款引擎已在预览客户的生产环境中大规模运行。

Ironwood TPU 在帕累托前沿的大多数区间都处于领先地位。

📊 Article Meta

AI Screening: 93

Featured: Yes

Source: Google Developers Blog

Author: Qi Zhou, Chris Chan

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1370

Tags:

AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , 开放权重模型 , 代码助手

#AI 与智能应用# AI 硬件与芯片# 模型训练与推理# 开放权重模型# 代码助手

文章评论(12)

星观澜26 天前

有没有更详细的教程,期待后续。

回复
空向阳26 天前

这个比较实用,已转发给同事。

回复
郭超26 天前

支持作者,持续关注中。

回复
三分糖去冰26 天前

实测过类似工具,作者说的基本属实。

回复
一个橘子26 天前

这个观点很中肯,深有同感。

回复
墨沐雨26 天前

看标题就点进来了,内容果然没让人失望。

回复
云逐月26 天前

刚好最近在找这方面的资料,太及时了。

回复
漾漾其华26 天前

赞同,实践出真知。

回复
一个橘子26 天前

很有价值的分享,感谢整理。

回复
白向阳26 天前

整理得太全面了,省了我不少时间。

回复
龙文博26 天前

这篇文章分析得很透彻,收藏了!

回复
雪知秋25 天前

看标题就点进来了,内容果然没让人失望。

回复