哪个模型适合哪个角色?面向 LLM 智能体工作流的成本高效帕累托推荐

山止川行AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-28861 阅读💛 257 收藏
哪个模型适合哪个角色?面向 LLM 智能体工作流的成本高效帕累托推荐

📌 One-Sentence Summary

CC-Gittins 是成本感知 Gittins 搜索的多目标扩展,通过利用评估成本与部署成本之间的耦合关系,以约 10% 的穷举评估成本高效地为智能体工作流恢复帕累托最优的 LLM 模型分配方案。

📝 Summary

本文研究了在智能体工作流中为不同角色分配不同 LLM 的难题,用户对质量、成本和延迟之间的权衡有不同偏好。作者提出了 Cost-Coupled Gittins(CC-Gittins),一种多目标帕累托推荐方法,其核心洞察是:部署成本更高的分配方案,其评估成本也更高。该算法在追求更高质量和更低部署成本之间交替搜索,并复用每次评估来同时指导两种搜索。每批评估后,它会推荐在不确定性调整估计下非支配的分配方案。在来自 2 至 5 个角色、最多 1,681 个候选分配方案的工作流的八个质量-成本矩阵上进行评估,结果表明 CC-Gittins 以约 10% 的穷举评估成本恢复了真实帕累托前沿的相当大一部分,并在 30% 成本时以少量误报恢复了前沿的大部分。延迟也作为第三个目标进行了评估。该论文已被 NeurIPS 2026 资源感知智能体 AI 研讨会(RAAAI)接收。

💡 Main Points

CC-Gittins 利用评估成本与部署成本之间的耦合关系来降低搜索开销。

关键洞察在于:部署成本更高的模型分配方案,其评估成本也更高,因此每次评估可以同时为质量和成本两种搜索提供信息。

该算法在追求更高质量和更低部署成本之间交替搜索,并在每批评估后推荐非支配的分配方案。

利用质量和部署成本的不确定性调整估计,CC-Gittins 在多批评估中逐步缩小帕累托前沿的范围。

CC-Gittins 以约 10% 的穷举评估成本恢复了真实帕累托前沿的相当大一部分。

在 2 至 5 个角色、最多 1,681 个候选分配方案的八个基准测试中,该方法在保持前沿覆盖的同时实现了显著的成本节约。

该方法可扩展到包括延迟在内的三个目标,展示了对现实部署约束的实际适用性。

除了质量与成本的权衡之外,该方法还将延迟作为第三个优化目标,这对交互式智能体应用尤为重要。

💬 Key Quotes

CC-Gittins 以约 10% 的穷举评估成本恢复了真实帕累托前沿的相当大一部分,并在 30% 成本时以少量误报恢复了前沿的大部分。

它利用了评估成本与部署成本之间的耦合关系:部署成本更高的分配方案,其评估成本也更高。

搜索在追求更高质量和更低部署成本之间交替进行,并复用每次评估来同时指导两种搜索。

每批评估后,CC-Gittins 推荐在质量和部署成本的不确定性调整估计下非支配的分配方案。

📊 Article Meta

AI Screening: 86

Source: Hacker News - Newest: "LLM"

Author: saikatsg

Category: 人工智能

Language: 英文

Read Time: 2 min

Word Count: 330

Tags:

AI 与智能应用 , 模型路由 , 机器学习 , LLM 推理优化 , AI Agent

#AI 与智能应用# 模型路由# 机器学习# LLM 推理优化# AI Agent

文章评论(12)

月沐雨18 天前

整理得太全面了,省了我不少时间。

回复
逐光而行19 天前

这个比较实用,已转发给同事。

回复
南山客18 天前

楼主辛苦了,内容很有参考价值。

回复
南山客18 天前

赞同,实践出真知。

回复
云逐月19 天前

这个比较实用,已转发给同事。

回复
逐光而行18 天前

作者写得真不错,学到了不少。

回复
蓝光18 天前

支持作者,持续关注中。

回复
星寻梦18 天前

这篇文章分析得很透彻,收藏了!

回复
雪影18 天前

写得挺用心的,支持一下。

回复
龙文博18 天前

点赞,必须点赞

回复
蓝光18 天前

实测过类似工具,作者说的基本属实。

回复
空向阳18 天前

很有价值的分享,感谢整理。

回复