LLM 路由的隐性成本:为什么切换模型代价更高

📌 One-Sentence Summary
在会话中途切换 LLM 会破坏 KV 缓存复用,把定价决策变成状态管理问题:由智能体运行框架进行路由,可实现 40 个潜在节省百分点中的 29 个,而由网关路由只能实现 13 个。
📝 Summary
本文通过测量模型切换对智能体长会话中前缀缓存复用的影响,探讨 LLM 路由的隐性成本。作者使用搭载 0.9B 模型的 vLLM 服务器,运行脚本化的 20 轮会话,对比了三种路由策略:固定路由(始终使用同一模型)、逐请求交替路由,以及在阶段边界切换模型。与固定路由相比,逐请求交替路由需要重新计算的 token 多出 1.9 倍,因此只能实现理论价格节省的 13%。阶段边界路由只在智能体运行框架可识别的任务阶段边界切换模型,可实现 29% 的节省。在第 8 轮进行一次会话中途切换,就会导致 4,395 个 token 冷启动预填充(缓存命中数为 0),并使首 token 延迟从 60 ms 升至 287 ms。按实际价格计算,在前沿模型上忽略缓存的路由,成本是缓存感知基准方案的 4.88 倍。文章解释了为何推理服务系统层面的改进(前缀感知调度、缓存持久化,以及相关模型间的跨模型缓存复用)无法解决彼此无关的模型系列之间的切换问题,并指出路由应当移至智能体运行框架中,因为那里能获取会话状态、缓存冷热情况和任务阶段信息。
💡 Main Points
在会话中途切换模型会破坏前缀缓存复用,因为 KV 缓存与特定模型绑定,无法在彼此无关的模型系列之间转移。
路由器将对话从模型 A 切换到模型 B 时,模型 B 必须从头重新处理完整的对话历史。在实验中,第 8 轮的一次切换导致缓存命中数为 0,需重新计算 4,395 个 token,并使首 token 延迟从 60 ms 升至 287 ms。
网关路由(代理层路由)缺少会话上下文和缓存感知能力,而智能体运行框架内的路由器可以利用任务阶段、轮次和缓存位置等信息做出缓存感知决策。
网关路由器只能看到当前请求,无法判断哪个模型的缓存处于热状态,也不知道智能体当前所处的任务阶段。智能体运行框架内的路由器可以查看完整的执行上下文,并在构建下一条请求之前选择模型,从而避免不必要的切换。
逐请求交替路由破坏的缓存几乎是固定路由的两倍,在理论上可节省的 40 个百分点中只能实现 13 个;阶段边界路由只在自然的任务边界切换,可实现 29 个百分点。
实验通过 vLLM 指标精确测量缓存 token 数。固定路由需重新计算 10,191 个 token,交替路由需重新计算 19,855 个(1.9 倍),阶段路由需重新计算 17,455 个。按实际价格计算,忽略缓存的前沿模型路由成本是基准方案的 4.88 倍。
前缀感知调度、缓存持久化和相关模型间的跨模型复用等推理服务优化,无法解决彼此无关的模型系列之间的切换问题。
llm-d、LMCache 和 DroidSpeak 等技术可以在同一个模型内部,或同一基础模型的微调变体之间保留缓存,但无法在架构不同的模型之间转移 KV 状态。因此,避免不必要的模型切换仍需依靠智能体运行框架层面的路由。
在 30/30 项实时编程任务中,阶段边界路由达到了与前沿模型相同的质量,且每项成功任务的成本仅为前沿模型的 31%。
作者在 30 项实时编程任务上评估了不同路由策略。结果表明,阶段路由在保持质量的同时降低了支出:其成功率与昂贵的前沿模型相同,每项成功任务的成本仅为前沿模型的 31%。
💬 Key Quotes
路由不只是定价决策,也是状态管理决策;而这些状态存在于智能体运行框架中。
KV 缓存属于特定模型,因此路由到另一个模型可能会带来问题。模型 B 无法复用模型 A 创建的缓存。
在网关层逐请求路由所破坏的缓存几乎是固定路由的两倍。按实际价格计算,它只能实现原始模型价格差所暗示的 40 个百分点节省中的 13 个百分点。
如今的推理服务系统可以跨副本、跨空闲时段,有时也能在紧密相关的模型之间保留缓存状态。但它们无法将一个模型中的热会话带到另一个彼此无关的模型中。
📊 Article Meta
AI Screening: 87
Source: Towards Data Science
Author: Nhu Hoang
Category: 人工智能
Language: 英文
Read Time: 21 min
Word Count: 5212
Tags:
AI 与智能应用 , AI 工作流 , 模型路由 , AI 工程 , 可观测性
思路清晰,干货满满。
收藏了,以后慢慢研究。
思路清晰,干货满满。
有没有更详细的教程,期待后续。
作者写得真不错,学到了不少。
看标题就点进来了,内容果然没让人失望。
点赞,必须点赞
收藏了,以后慢慢研究。
讲解得很细致,新手也能看懂。
这个观点很中肯,深有同感。
刚好最近在找这方面的资料,太及时了。
实测过类似工具,作者说的基本属实。