哪个模型适合哪个角色?面向 LLM 智能体工作流的成本高效帕累托推荐

📌 One-Sentence Summary
CC-Gittins 是成本感知 Gittins 搜索的多目标扩展,通过利用评估成本与部署成本之间的耦合关系,以约 10% 的穷举评估成本高效地为智能体工作流恢复帕累托最优的 LLM 模型分配方案。
📝 Summary
本文研究了在智能体工作流中为不同角色分配不同 LLM 的难题,用户对质量、成本和延迟之间的权衡有不同偏好。作者提出了 Cost-Coupled Gittins(CC-Gittins),一种多目标帕累托推荐方法,其核心洞察是:部署成本更高的分配方案,其评估成本也更高。该算法在追求更高质量和更低部署成本之间交替搜索,并复用每次评估来同时指导两种搜索。每批评估后,它会推荐在不确定性调整估计下非支配的分配方案。在来自 2 至 5 个角色、最多 1,681 个候选分配方案的工作流的八个质量-成本矩阵上进行评估,结果表明 CC-Gittins 以约 10% 的穷举评估成本恢复了真实帕累托前沿的相当大一部分,并在 30% 成本时以少量误报恢复了前沿的大部分。延迟也作为第三个目标进行了评估。该论文已被 NeurIPS 2026 资源感知智能体 AI 研讨会(RAAAI)接收。
💡 Main Points
CC-Gittins 利用评估成本与部署成本之间的耦合关系来降低搜索开销。
关键洞察在于:部署成本更高的模型分配方案,其评估成本也更高,因此每次评估可以同时为质量和成本两种搜索提供信息。
该算法在追求更高质量和更低部署成本之间交替搜索,并在每批评估后推荐非支配的分配方案。
利用质量和部署成本的不确定性调整估计,CC-Gittins 在多批评估中逐步缩小帕累托前沿的范围。
CC-Gittins 以约 10% 的穷举评估成本恢复了真实帕累托前沿的相当大一部分。
在 2 至 5 个角色、最多 1,681 个候选分配方案的八个基准测试中,该方法在保持前沿覆盖的同时实现了显著的成本节约。
该方法可扩展到包括延迟在内的三个目标,展示了对现实部署约束的实际适用性。
除了质量与成本的权衡之外,该方法还将延迟作为第三个优化目标,这对交互式智能体应用尤为重要。
💬 Key Quotes
CC-Gittins 以约 10% 的穷举评估成本恢复了真实帕累托前沿的相当大一部分,并在 30% 成本时以少量误报恢复了前沿的大部分。
它利用了评估成本与部署成本之间的耦合关系:部署成本更高的分配方案,其评估成本也更高。
搜索在追求更高质量和更低部署成本之间交替进行,并复用每次评估来同时指导两种搜索。
每批评估后,CC-Gittins 推荐在质量和部署成本的不确定性调整估计下非支配的分配方案。
📊 Article Meta
AI Screening: 86
Source: Hacker News - Newest: "LLM"
Author: saikatsg
Category: 人工智能
Language: 英文
Read Time: 2 min
Word Count: 330
Tags:
AI 与智能应用 , 模型路由 , 机器学习 , LLM 推理优化 , AI Agent
整理得太全面了,省了我不少时间。
这个比较实用,已转发给同事。
楼主辛苦了,内容很有参考价值。
赞同,实践出真知。
这个比较实用,已转发给同事。
作者写得真不错,学到了不少。
支持作者,持续关注中。
这篇文章分析得很透彻,收藏了!
写得挺用心的,支持一下。
点赞,必须点赞
实测过类似工具,作者说的基本属实。
很有价值的分享,感谢整理。