自饮香槟,第 5 部分:把一个自托管编程模型从试点扩展到团队需要什么?- Upbound AI

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 892026-10-27811 阅读💛 73 收藏
自饮香槟,第 5 部分:把一个自托管编程模型从试点扩展到团队需要什么?- Upbound AI

📌 One-Sentence Summary

文章详细介绍了 Upbound 如何测试七种 LLM 服务方案,将自托管编程模型从 10 人试点扩展到 15 人团队,并发现 4 个节点搭配 SGLang 即可提供足够容量。

📝 Summary

本文中,Upbound 分享了将一个自托管编程模型(GLM-5.3)从 10 名工程师的试点扩展到 15 人团队的经验。他们使用 Modelplane 管理部署,搭建了一套基于 CI 的测试装置,回放公开的 AgentX 轨迹,在预先设定的性能门槛下评估七种服务方案。关键发现是:2 个节点搭配 vLLM 容量不足;4 个节点搭配 SGLang 在成本相当的情况下提供了足够容量。他们还发现,由于子智能体的使用,轻量用户可能比重度用户产生更高的并发负载。文章详细介绍了他们的测试方法,包括预检、小型评估和扫描阶段,并解释了早期故障检测如何节省 GPU 时间。这项研究为希望扩展 LLM 推理的团队提供了一个实用框架。

💡 Main Points

从试点扩展到团队需要从 2 个节点增加到 4 个节点,并从 vLLM 切换到 SGLang。

测试表明,2 个节点搭配 vLLM 无法处理 15 个并发会话;4 个节点搭配 SGLang 在成本相当的情况下提供了足够容量。

轻量用户未必是低负载,因为他们的子智能体比重度用户的长提示词保持更多请求在途。

对 AgentX 轨迹的分析显示,轻量用户(短提示词)往往有大量子智能体调用,从而提高了并发。

一套使用回放流量和预先设定性能门槛的可复现测试装置,能够客观评估服务方案。

该装置在 CI 中运行,使用公开轨迹,为 TTFT、交互性和错误率定义阈值,并选择成本最低的通过方案。

通过分层测试(单元、排练、冒烟)进行早期故障检测,可避免浪费 GPU 窗口。

两种方案在低成本测试后被淘汰,避免了昂贵的完整运行。

服务决策依赖服务端指标,而非智能体框架日志,以确保运维可见性。

该装置使用来自网关和引擎的 OpenTelemetry 信号,避免依赖可能无法访问的智能体日志。

💬 Key Quotes

简短的回答是:2 个节点无论我们尝试什么改动都撑不住 15 人的团队,而 4 个节点运行 SGLang 可以,成本大约相当于我们今天为每位工程师支付的费用。

过程中有一个意外:轻量用户并不轻,因为他们的子智能体比重度用户的长提示词保持更多请求在途。

我们在第一次运行之前就商定了门槛并写了下来。

方案 2,128K 上下文:看起来最快,只是因为它拒绝了长对话并丢失了这些轮次。

每个请求都要等待通过普通 TCP 将其 KV 缓存移动到解码引擎,而将预填充与解码分离需要 RDMA 或接近 RDMA 的能力,这些节点并不具备。

📊 Article Meta

AI Screening: 89

Source: Hacker News - Newest: "LLM"

Author: d-ramdass

Category: 人工智能

Language: 英文

Read Time: 16 min

Word Count: 3973

Tags:

AI 与智能应用 , 自托管 , AI 编程 , AI 工程 , 模型训练与推理

#AI 与智能应用# 自托管# AI 编程# AI 工程# 模型训练与推理

文章评论(12)

龙文博19 天前

看完了,收获满满,期待更多更新。

回复
星寻梦19 天前

思路清晰,干货满满。

回复
陈皮话梅糖20 天前

点赞,必须点赞

回复
南山客19 天前

赞同,实践出真知。

回复
邱文博19 天前

写得挺用心的,支持一下。

回复
陈皮话梅糖19 天前

讲解得很细致,新手也能看懂。

回复
陈皮话梅糖19 天前

不错不错,已加入书签。

回复
蓝光19 天前

不错不错,已加入书签。

回复
月沐雨19 天前

内容翔实,正好需要,先收藏再看。

回复
空向阳19 天前

讲解得很细致,新手也能看懂。

回复
云逐月19 天前

收藏了,以后慢慢研究。

回复
山问津19 天前

这个观点很中肯,深有同感。

回复