每项任务的成本:使用轻量级分类器在 Gemini 模型和思考级别之间进行路由

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-04236 阅读💛 26 收藏
每项任务的成本:使用轻量级分类器在 Gemini 模型和思考级别之间进行路由

📌 One-Sentence Summary

本文展示了如何利用轻量级分类器,将任务路由到成本最低的 Gemini 模型配置;与使用单一模型并设置较低思考级别相比,这种方法在降低成本和延迟的同时,实现了 100% 的准确率。

📝 Summary

本文探讨如何通过轻量级分类器构建路由层,优化 AI 智能体的单项任务成本。在包含 50 道题目的基准测试中,Jev 分类器能够有效地将简单任务路由到 Flash-Lite,将复杂任务路由到低思考级别的 Flash,实现 100% 的准确率,同时降低响应时间和成本。研究还发现,maxOutputTokens 是输出上限,而不是控制思考预算的旋钮;低思考级别的 Flash 已经能够以比默认设置更高的效率解决所有任务。核心启示是,在生产环境的经济性评估中,主要指标应是每项任务的成本,而不是每个 token 的价格。

💡 Main Points

每项任务的成本是生产环境 AI 经济性的关键指标

在真实的智能体部署中,重要的是所有迭代、工具调用、重试和内部思考过程的总支出,除以成功完成的任务数,而不是单个 token 的定价。

轻量级分类器能够有效地进行任务路由

Jev 分类器在 34 项未见过的任务上实现了 100% 的一致率,在完整的 50 项任务测试中达到 96%。它将复杂的路由决策拆解为一系列简单的「是或否」问题,而不是进行宽泛的分类。

maxOutputTokens 是输出上限,而不是控制思考预算的旋钮

将输出限制在 300 个 token 并未降低简单任务的思考成本,反而导致 25 项困难任务中有 7 项无法完成。这说明 token 限制无法控制模型的推理行为。

低思考级别的 Flash 优于默认配置

低思考级别的 Gemini 3.8 Flash 以低于默认设置的成本解决了全部 50 项任务,因此在加入任何路由器之前,它都是最优基准配置。

路由器的实现需要谨慎匹配模型

Jev 路由器将简单任务分配给 Flash-Lite,将复杂任务分配给低思考级别的 Flash,在降低成本和响应时间的同时实现了 100% 的准确率;对于上下文密集的轮次,则继续使用单一模型,以保留缓存带来的优势。

💬 Key Quotes

每百万个 token 的价格已经不再是决定生产环境经济性的实际指标。如今起主导作用的指标是每项成功任务的成本:所有循环迭代、工具调用、重试和内部思考过程的总支出,除以通过验证的任务数。

AI 智能体可以自主调整运行策略来维护系统健康,但其执行权限会受到不可变企业策略、硬件密钥来源证明以及明确的人类托管机制的加密约束。

在构建路由器之前,先使用低思考级别的 Flash。它解决了全部 50 项任务,成本也远低于默认设置。

评估每种方案时,都应看它以正确结果完成每项任务的成本,而不是每个 token 的成本。

📊 Article Meta

AI Screening: 88

Source: Google Developers Blog

Author: Sergio Villani

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2055

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , AI 工作流 , AI 产品与应用

#AI 与智能应用# 模型训练与推理# AI 工程# AI 工作流# AI 产品与应用

文章评论(12)

崔欣怡12 天前

刚好最近在找这方面的资料,太及时了。

回复
蓝问津12 天前

作者写得真不错,学到了不少。

回复
林观澜12 天前

看完了,收获满满,期待更多更新。

回复
杨丽华12 天前

整理得太全面了,省了我不少时间。

回复
暮拾贝12 天前

内容翔实,正好需要,先收藏再看。

回复
吴超12 天前

整理得太全面了,省了我不少时间。

回复
星观澜12 天前

这篇文章分析得很透彻,收藏了!

回复
林拾贝12 天前

收藏了,以后慢慢研究。

回复
雪影12 天前

有没有更详细的教程,期待后续。

回复
松听风12 天前

收藏了,以后慢慢研究。

回复
月沐雨12 天前

内容翔实,正好需要,先收藏再看。

回复
北岛渔夫11 天前

写得挺用心的,支持一下。

回复