推出 TPU 上全新的 vLLM 和 SGLang 推理引擎

📌 One-Sentence Summary
Google 推出适用于 vLLM 和 SGLang 的原生 PyTorch 后端,让 TPU 能够为智能体和多模态工作负载提供高性能、可定制的推理能力。
📝 Summary
基于 TorchTPU 构建的全新 vLLM 和 SGLang 引擎,为在 Google TPU 上运行 AI 推理提供了完整集成的开源方案。这些引擎支持广泛的生产工作负载,包括智能体、多模态和长上下文任务,并具备自动前缀缓存、推测解码和解耦式服务等功能。此次发布还得到了社区伙伴的大力支持,并公布了基准测试结果,展现出业界领先的性能。
💡 Main Points
原生支持 PyTorch
这些引擎基于 TorchTPU 构建,开发者可以使用标准 PyTorch 语法和工具编写、调试推理代码,无需依赖 JAX 或专用封装。
全面支持各类工作负载
借助 KV 缓存卸载和数据并行注意力等功能,这些引擎能够处理多轮对话、高吞吐量批处理和长上下文任务等多种复杂工作负载。
与社区协作
这些引擎的开发得到了 vLLM 原始创建团队 Inferact 和 SGLang 原始创建团队 RadixArk 的密切合作,确保后端与上游项目深度集成并保持一致。
公开验证性能
Google 在 SemiAnalysis InferenceX 排行榜上公布了测试结果,显示新引擎实现了最低的每 token 成本和出色的交互性评分,证明其已具备投入生产的能力。
💬 Key Quotes
我们不断听到开发者表示,他们希望使用 PyTorch 定制和调试自己的服务技术栈。
这两款引擎已在预览客户的生产环境中大规模运行。
Ironwood TPU 在帕累托前沿的大多数区间都处于领先地位。
📊 Article Meta
AI Screening: 93
Featured: Yes
Source: Google Developers Blog
Author: Qi Zhou, Chris Chan
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1370
Tags:
AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , 开放权重模型 , 代码助手
这个比较实用,已转发给同事。
不错不错,已加入书签。
整理得太全面了,省了我不少时间。
讲解得很细致,新手也能看懂。
这个比较实用,已转发给同事。
有没有更详细的教程,期待后续。
点赞,必须点赞
这个观点很中肯,深有同感。
点赞,必须点赞
这个比较实用,已转发给同事。
这篇文章分析得很透彻,收藏了!
路过