Kubernetes 上的开源 AI 原生技术栈:从开源模型到分布式推理与智能体

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-1173 阅读💛 59 收藏
Kubernetes 上的开源 AI 原生技术栈:从开源模型到分布式推理与智能体

📌 One-Sentence Summary

本文介绍了一套面向 Kubernetes 的全面开源 AI 原生技术栈,借助 OpenRL、llm-d 1.0、KubeRay、Agent Substrate 和 gVisor 等项目,实现可扩展的 RL 后训练、支持前缀缓存感知路由的分布式推理,以及安全的多租户智能体执行。

📝 Summary

本文介绍了一套统一的开源 AI 原生技术栈,旨在应对在 Kubernetes 上大规模部署 AI 工作负载的挑战。文章详细介绍了六个核心组件:用于 Kubernetes 原生强化学习后训练的 OpenRL、支持缓存感知路由的分布式推理系统 llm-d 1.0、用于分布式 Python 和 ML 编排的 KubeRay、用于管理多轮智能体工作流的 Agent Substrate、用于对不可信智能体代码进行内核级沙箱隔离的 gVisor,以及为 Cloud TPU 提供原生 PyTorch 支持的 TorchTPU。这套技术栈以更低的成本和延迟实现前沿水平的任务表现;实际测试显示,在法律智能体基准测试中,准确率达到 70%,而标准 SFT 为 50%。实际应用场景涵盖企业平台团队、受监管行业、AI 原生开发者和模型即服务提供商。

💡 Main Points

OpenRL 借助加速器时间切片和增量权重同步,实现 Kubernetes 原生 RL 后训练

OpenRL 提供由 4 个基本原语组成的 Python 抽象,并将其转换为 Kubernetes 调度工作流,使训练和 rollout 推理能够共享同一批加速器,同时只传输参数增量,避免网络饱和。

llm-d 1.0 为分布式推理提供前缀缓存感知路由和三级 KV 缓存卸载

控制平面将独立的推理引擎转变为协同工作的服务网络。在多轮智能体工作负载中,KV 缓存命中率从 35% 提高到 70%,中位首个 Token 生成时间缩短了 70-85%。

KubeRay 为分布式 Ray 计算提供企业级生命周期管理和由 Kueue 驱动的调度

KubeRay 提供声明式集群生命周期管理、支持多租户的原生 Kueue 队列,以及弹性自动扩缩容,从而在 Kubernetes 上管理 Ray 集群的同时避免资源闲置。

Agent Substrate 和 gVisor 为多租户集群中执行不可信的模型生成代码提供强隔离

gVisor 提供内核级沙箱隔离,能够拦截系统调用,并为 RL rollout 生成和生产环境中的智能体工作流创建亚秒级的临时执行环境。

这套技术栈在法律领域推理任务中展现实际效果,在法律智能体基准测试中达到 70% 的准确率

使用 OpenRL 的 RL 循环对 Gemma 4 进行测试后,准确率从标准 SFT 的 50% 提升至 70%;整个流程还能动态共享 GPU 和 TPU 容量,无需手动管理资源分区。

💬 Key Quotes

各组织正逐渐意识到,长期竞争优势在于领域专业化。

与加密劫持逐步消耗资源不同,LLMJacking 能在短短几小时内造成云服务费用欺诈的大幅飙升。

Endpoint Picker 会实时评估各工作节点 Pod 上 KV 缓存的驻留情况。在生产部署中,它将 KV 缓存命中率从 35% 提高到 70%,并使多轮智能体工作负载的中位首个 Token 生成时间(TTFT)缩短了 70-85%。

标准 SFT 在多步推理评分标准上的准确率徘徊在 50% 左右;应用可复现的 OpenRL 强化学习循环后,我们将模型准确率提升到了 70%。

整个训练流程在 GKE 上动态共享 GPU 和 TPU 容量,并与并发运行的 LoRA 和推理任务协同工作,无需手动管理资源分区。

📊 Article Meta

AI Screening: 88

Source: Google Cloud Blog

Author: Abdelfettah Sghiouar, Allan Naim

Category: 人工智能

Language: 英文

Read Time: 10 min

Word Count: 2325

Tags:

AI 与智能应用 , 强化学习 , 安全 , 云原生 / DevOps , AI Agent

#AI 与智能应用# 强化学习# 安全# 云原生 / DevOps# AI Agent

文章评论(12)

蓝归舟5 天前

这个比较实用,已转发给同事。

回复
石佳琪5 天前

看完了,收获满满,期待更多更新。

回复
风倚栏5 天前

楼主辛苦了,内容很有参考价值。

回复
暮临风5 天前

这个观点很中肯,深有同感。

回复
杨丽华5 天前

赞同,实践出真知。

回复
北岛渔夫5 天前

楼主辛苦了,内容很有参考价值。

回复
空向阳5 天前

内容翔实,正好需要,先收藏再看。

回复
雪知秋5 天前

路过

回复
石佳琪5 天前

很有价值的分享,感谢整理。

回复
雪影5 天前

楼主辛苦了,内容很有参考价值。

回复
风拾光5 天前

看完了,收获满满,期待更多更新。

回复
风倚栏5 天前

有没有更详细的教程,期待后续。

回复