每项任务的成本:使用轻量级分类器在 Gemini 模型和思考级别之间进行路由

📌 One-Sentence Summary
本文展示了如何利用轻量级分类器,将任务路由到成本最低的 Gemini 模型配置;与使用单一模型并设置较低思考级别相比,这种方法在降低成本和延迟的同时,实现了 100% 的准确率。
📝 Summary
本文探讨如何通过轻量级分类器构建路由层,优化 AI 智能体的单项任务成本。在包含 50 道题目的基准测试中,Jev 分类器能够有效地将简单任务路由到 Flash-Lite,将复杂任务路由到低思考级别的 Flash,实现 100% 的准确率,同时降低响应时间和成本。研究还发现,maxOutputTokens 是输出上限,而不是控制思考预算的旋钮;低思考级别的 Flash 已经能够以比默认设置更高的效率解决所有任务。核心启示是,在生产环境的经济性评估中,主要指标应是每项任务的成本,而不是每个 token 的价格。
💡 Main Points
每项任务的成本是生产环境 AI 经济性的关键指标
在真实的智能体部署中,重要的是所有迭代、工具调用、重试和内部思考过程的总支出,除以成功完成的任务数,而不是单个 token 的定价。
轻量级分类器能够有效地进行任务路由
Jev 分类器在 34 项未见过的任务上实现了 100% 的一致率,在完整的 50 项任务测试中达到 96%。它将复杂的路由决策拆解为一系列简单的「是或否」问题,而不是进行宽泛的分类。
maxOutputTokens 是输出上限,而不是控制思考预算的旋钮
将输出限制在 300 个 token 并未降低简单任务的思考成本,反而导致 25 项困难任务中有 7 项无法完成。这说明 token 限制无法控制模型的推理行为。
低思考级别的 Flash 优于默认配置
低思考级别的 Gemini 3.8 Flash 以低于默认设置的成本解决了全部 50 项任务,因此在加入任何路由器之前,它都是最优基准配置。
路由器的实现需要谨慎匹配模型
Jev 路由器将简单任务分配给 Flash-Lite,将复杂任务分配给低思考级别的 Flash,在降低成本和响应时间的同时实现了 100% 的准确率;对于上下文密集的轮次,则继续使用单一模型,以保留缓存带来的优势。
💬 Key Quotes
每百万个 token 的价格已经不再是决定生产环境经济性的实际指标。如今起主导作用的指标是每项成功任务的成本:所有循环迭代、工具调用、重试和内部思考过程的总支出,除以通过验证的任务数。
AI 智能体可以自主调整运行策略来维护系统健康,但其执行权限会受到不可变企业策略、硬件密钥来源证明以及明确的人类托管机制的加密约束。
在构建路由器之前,先使用低思考级别的 Flash。它解决了全部 50 项任务,成本也远低于默认设置。
评估每种方案时,都应看它以正确结果完成每项任务的成本,而不是每个 token 的成本。
📊 Article Meta
AI Screening: 88
Source: Google Developers Blog
Author: Sergio Villani
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2055
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , AI 工作流 , AI 产品与应用
刚好最近在找这方面的资料,太及时了。
作者写得真不错,学到了不少。
看完了,收获满满,期待更多更新。
整理得太全面了,省了我不少时间。
内容翔实,正好需要,先收藏再看。
整理得太全面了,省了我不少时间。
这篇文章分析得很透彻,收藏了!
收藏了,以后慢慢研究。
有没有更详细的教程,期待后续。
收藏了,以后慢慢研究。
内容翔实,正好需要,先收藏再看。
写得挺用心的,支持一下。