Kubernetes 上的开源 AI 原生技术栈:从开源模型到分布式推理与智能体

📌 One-Sentence Summary
本文介绍了一套面向 Kubernetes 的全面开源 AI 原生技术栈,借助 OpenRL、llm-d 1.0、KubeRay、Agent Substrate 和 gVisor 等项目,实现可扩展的 RL 后训练、支持前缀缓存感知路由的分布式推理,以及安全的多租户智能体执行。
📝 Summary
本文介绍了一套统一的开源 AI 原生技术栈,旨在应对在 Kubernetes 上大规模部署 AI 工作负载的挑战。文章详细介绍了六个核心组件:用于 Kubernetes 原生强化学习后训练的 OpenRL、支持缓存感知路由的分布式推理系统 llm-d 1.0、用于分布式 Python 和 ML 编排的 KubeRay、用于管理多轮智能体工作流的 Agent Substrate、用于对不可信智能体代码进行内核级沙箱隔离的 gVisor,以及为 Cloud TPU 提供原生 PyTorch 支持的 TorchTPU。这套技术栈以更低的成本和延迟实现前沿水平的任务表现;实际测试显示,在法律智能体基准测试中,准确率达到 70%,而标准 SFT 为 50%。实际应用场景涵盖企业平台团队、受监管行业、AI 原生开发者和模型即服务提供商。
💡 Main Points
OpenRL 借助加速器时间切片和增量权重同步,实现 Kubernetes 原生 RL 后训练
OpenRL 提供由 4 个基本原语组成的 Python 抽象,并将其转换为 Kubernetes 调度工作流,使训练和 rollout 推理能够共享同一批加速器,同时只传输参数增量,避免网络饱和。
llm-d 1.0 为分布式推理提供前缀缓存感知路由和三级 KV 缓存卸载
控制平面将独立的推理引擎转变为协同工作的服务网络。在多轮智能体工作负载中,KV 缓存命中率从 35% 提高到 70%,中位首个 Token 生成时间缩短了 70-85%。
KubeRay 为分布式 Ray 计算提供企业级生命周期管理和由 Kueue 驱动的调度
KubeRay 提供声明式集群生命周期管理、支持多租户的原生 Kueue 队列,以及弹性自动扩缩容,从而在 Kubernetes 上管理 Ray 集群的同时避免资源闲置。
Agent Substrate 和 gVisor 为多租户集群中执行不可信的模型生成代码提供强隔离
gVisor 提供内核级沙箱隔离,能够拦截系统调用,并为 RL rollout 生成和生产环境中的智能体工作流创建亚秒级的临时执行环境。
这套技术栈在法律领域推理任务中展现实际效果,在法律智能体基准测试中达到 70% 的准确率
使用 OpenRL 的 RL 循环对 Gemma 4 进行测试后,准确率从标准 SFT 的 50% 提升至 70%;整个流程还能动态共享 GPU 和 TPU 容量,无需手动管理资源分区。
💬 Key Quotes
各组织正逐渐意识到,长期竞争优势在于领域专业化。
与加密劫持逐步消耗资源不同,LLMJacking 能在短短几小时内造成云服务费用欺诈的大幅飙升。
Endpoint Picker 会实时评估各工作节点 Pod 上 KV 缓存的驻留情况。在生产部署中,它将 KV 缓存命中率从 35% 提高到 70%,并使多轮智能体工作负载的中位首个 Token 生成时间(TTFT)缩短了 70-85%。
标准 SFT 在多步推理评分标准上的准确率徘徊在 50% 左右;应用可复现的 OpenRL 强化学习循环后,我们将模型准确率提升到了 70%。
整个训练流程在 GKE 上动态共享 GPU 和 TPU 容量,并与并发运行的 LoRA 和推理任务协同工作,无需手动管理资源分区。
📊 Article Meta
AI Screening: 88
Source: Google Cloud Blog
Author: Abdelfettah Sghiouar, Allan Naim
Category: 人工智能
Language: 英文
Read Time: 10 min
Word Count: 2325
Tags:
AI 与智能应用 , 强化学习 , 安全 , 云原生 / DevOps , AI Agent
这个比较实用,已转发给同事。
看完了,收获满满,期待更多更新。
楼主辛苦了,内容很有参考价值。
这个观点很中肯,深有同感。
赞同,实践出真知。
楼主辛苦了,内容很有参考价值。
内容翔实,正好需要,先收藏再看。
路过
很有价值的分享,感谢整理。
楼主辛苦了,内容很有参考价值。
看完了,收获满满,期待更多更新。
有没有更详细的教程,期待后续。