推出 TPU 上全新的 vLLM 和 SGLang 推理引擎

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 932026-10-21338 阅读💛 88 收藏
推出 TPU 上全新的 vLLM 和 SGLang 推理引擎

📌 One-Sentence Summary

Google 推出适用于 vLLM 和 SGLang 的原生 PyTorch 后端,让 TPU 能够为智能体和多模态工作负载提供高性能、可定制的推理能力。

📝 Summary

基于 TorchTPU 构建的全新 vLLM 和 SGLang 引擎,为在 Google TPU 上运行 AI 推理提供了完整集成的开源方案。这些引擎支持广泛的生产工作负载,包括智能体、多模态和长上下文任务,并具备自动前缀缓存、推测解码和解耦式服务等功能。此次发布还得到了社区伙伴的大力支持,并公布了基准测试结果,展现出业界领先的性能。

💡 Main Points

原生支持 PyTorch

这些引擎基于 TorchTPU 构建,开发者可以使用标准 PyTorch 语法和工具编写、调试推理代码,无需依赖 JAX 或专用封装。

全面支持各类工作负载

借助 KV 缓存卸载和数据并行注意力等功能,这些引擎能够处理多轮对话、高吞吐量批处理和长上下文任务等多种复杂工作负载。

与社区协作

这些引擎的开发得到了 vLLM 原始创建团队 Inferact 和 SGLang 原始创建团队 RadixArk 的密切合作,确保后端与上游项目深度集成并保持一致。

公开验证性能

Google 在 SemiAnalysis InferenceX 排行榜上公布了测试结果,显示新引擎实现了最低的每 token 成本和出色的交互性评分,证明其已具备投入生产的能力。

💬 Key Quotes

我们不断听到开发者表示,他们希望使用 PyTorch 定制和调试自己的服务技术栈。

这两款引擎已在预览客户的生产环境中大规模运行。

Ironwood TPU 在帕累托前沿的大多数区间都处于领先地位。

📊 Article Meta

AI Screening: 93

Featured: Yes

Source: Google Developers Blog

Author: Qi Zhou, Chris Chan

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1370

Tags:

AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , 开放权重模型 , 代码助手

#AI 与智能应用# AI 硬件与芯片# 模型训练与推理# 开放权重模型# 代码助手

文章评论(12)

空向阳26 天前

这个比较实用,已转发给同事。

回复
暮临风26 天前

不错不错,已加入书签。

回复
蒋力26 天前

整理得太全面了,省了我不少时间。

回复
墨沐雨26 天前

讲解得很细致,新手也能看懂。

回复
星知秋26 天前

这个比较实用,已转发给同事。

回复
蓝光26 天前

有没有更详细的教程,期待后续。

回复
北岛渔夫26 天前

点赞,必须点赞

回复
月归舟26 天前

这个观点很中肯,深有同感。

回复
星观澜26 天前

点赞,必须点赞

回复
林拾贝26 天前

这个比较实用,已转发给同事。

回复
吴超26 天前

这篇文章分析得很透彻,收藏了!

回复
墨沐雨26 天前

路过

回复