LLM 路由的隐性成本:为什么切换模型代价更高

清风徐来AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-10-2164 阅读💛 164 收藏
LLM 路由的隐性成本:为什么切换模型代价更高

📌 One-Sentence Summary

在会话中途切换 LLM 会破坏 KV 缓存复用,把定价决策变成状态管理问题:由智能体运行框架进行路由,可实现 40 个潜在节省百分点中的 29 个,而由网关路由只能实现 13 个。

📝 Summary

本文通过测量模型切换对智能体长会话中前缀缓存复用的影响,探讨 LLM 路由的隐性成本。作者使用搭载 0.9B 模型的 vLLM 服务器,运行脚本化的 20 轮会话,对比了三种路由策略:固定路由(始终使用同一模型)、逐请求交替路由,以及在阶段边界切换模型。与固定路由相比,逐请求交替路由需要重新计算的 token 多出 1.9 倍,因此只能实现理论价格节省的 13%。阶段边界路由只在智能体运行框架可识别的任务阶段边界切换模型,可实现 29% 的节省。在第 8 轮进行一次会话中途切换,就会导致 4,395 个 token 冷启动预填充(缓存命中数为 0),并使首 token 延迟从 60 ms 升至 287 ms。按实际价格计算,在前沿模型上忽略缓存的路由,成本是缓存感知基准方案的 4.88 倍。文章解释了为何推理服务系统层面的改进(前缀感知调度、缓存持久化,以及相关模型间的跨模型缓存复用)无法解决彼此无关的模型系列之间的切换问题,并指出路由应当移至智能体运行框架中,因为那里能获取会话状态、缓存冷热情况和任务阶段信息。

💡 Main Points

在会话中途切换模型会破坏前缀缓存复用,因为 KV 缓存与特定模型绑定,无法在彼此无关的模型系列之间转移。

路由器将对话从模型 A 切换到模型 B 时,模型 B 必须从头重新处理完整的对话历史。在实验中,第 8 轮的一次切换导致缓存命中数为 0,需重新计算 4,395 个 token,并使首 token 延迟从 60 ms 升至 287 ms。

网关路由(代理层路由)缺少会话上下文和缓存感知能力,而智能体运行框架内的路由器可以利用任务阶段、轮次和缓存位置等信息做出缓存感知决策。

网关路由器只能看到当前请求,无法判断哪个模型的缓存处于热状态,也不知道智能体当前所处的任务阶段。智能体运行框架内的路由器可以查看完整的执行上下文,并在构建下一条请求之前选择模型,从而避免不必要的切换。

逐请求交替路由破坏的缓存几乎是固定路由的两倍,在理论上可节省的 40 个百分点中只能实现 13 个;阶段边界路由只在自然的任务边界切换,可实现 29 个百分点。

实验通过 vLLM 指标精确测量缓存 token 数。固定路由需重新计算 10,191 个 token,交替路由需重新计算 19,855 个(1.9 倍),阶段路由需重新计算 17,455 个。按实际价格计算,忽略缓存的前沿模型路由成本是基准方案的 4.88 倍。

前缀感知调度、缓存持久化和相关模型间的跨模型复用等推理服务优化,无法解决彼此无关的模型系列之间的切换问题。

llm-d、LMCache 和 DroidSpeak 等技术可以在同一个模型内部,或同一基础模型的微调变体之间保留缓存,但无法在架构不同的模型之间转移 KV 状态。因此,避免不必要的模型切换仍需依靠智能体运行框架层面的路由。

在 30/30 项实时编程任务中,阶段边界路由达到了与前沿模型相同的质量,且每项成功任务的成本仅为前沿模型的 31%。

作者在 30 项实时编程任务上评估了不同路由策略。结果表明,阶段路由在保持质量的同时降低了支出:其成功率与昂贵的前沿模型相同,每项成功任务的成本仅为前沿模型的 31%。

💬 Key Quotes

路由不只是定价决策,也是状态管理决策;而这些状态存在于智能体运行框架中。

KV 缓存属于特定模型,因此路由到另一个模型可能会带来问题。模型 B 无法复用模型 A 创建的缓存。

在网关层逐请求路由所破坏的缓存几乎是固定路由的两倍。按实际价格计算,它只能实现原始模型价格差所暗示的 40 个百分点节省中的 13 个百分点。

如今的推理服务系统可以跨副本、跨空闲时段,有时也能在紧密相关的模型之间保留缓存状态。但它们无法将一个模型中的热会话带到另一个彼此无关的模型中。

📊 Article Meta

AI Screening: 87

Source: Towards Data Science

Author: Nhu Hoang

Category: 人工智能

Language: 英文

Read Time: 21 min

Word Count: 5212

Tags:

AI 与智能应用 , AI 工作流 , 模型路由 , AI 工程 , 可观测性

#AI 与智能应用# AI 工作流# 模型路由# AI 工程# 可观测性

文章评论(12)

南山客25 天前

思路清晰,干货满满。

回复
星观澜26 天前

收藏了,以后慢慢研究。

回复
墨向阳25 天前

思路清晰,干货满满。

回复
陈皮话梅糖25 天前

有没有更详细的教程,期待后续。

回复
黄小刚25 天前

作者写得真不错,学到了不少。

回复
蓝临风25 天前

看标题就点进来了,内容果然没让人失望。

回复
石佳琪25 天前

点赞,必须点赞

回复
月沐雨25 天前

收藏了,以后慢慢研究。

回复
月沐雨25 天前

讲解得很细致,新手也能看懂。

回复
崔欣怡25 天前

这个观点很中肯,深有同感。

回复
竹听风25 天前

刚好最近在找这方面的资料,太及时了。

回复
林拾贝25 天前

实测过类似工具,作者说的基本属实。

回复