OpenRouter 发布智能体模型成本与质量权衡选型框架

📌 One-Sentence Summary

OpenRouter 推出三步框架，通过定义质量阈值、在自有样本上测量单位质量成本，选择以足够余量超过门槛的最便宜模型来进行智能体模型选型。

📝 Summary

OpenRouter 发布了一个基于成本与质量权衡的 AI 智能体模型选型实用框架。该方法包括三个步骤：首先，为每个任务设定质量阈值，低于门槛的模型无论价格如何都将被取消资格；其次，在 20-50 个自有示例上运行廉价、中端和前沿模型，使用一致的评分标准来计算每个质量点的成本，使用响应中的实际 `usage.cost` 数据；第三，选择以大于观测到的运行间分数波动的余量超过阈值的最便宜模型。文章强调使用自有流量而非公共基准，直接从 API 响应中读取成本，并在模型或价格更改时重新运行比较。它包括代码示例、说明支持工单路由和合规审查等任务成本计算的表格，并讨论了延迟等约束。该框架旨在避免在狭窄任务上为排名靠前的模型支付过高费用，为开发者提供可操作的指导。

💡 Main Points

为每个任务定义质量阈值，以过滤掉不充分的模型。

该框架首先为特定任务（如合规或客户支持）确定什么是「足够好」。未通过该阈值的模型将被消除，确保只有在可行选项中考虑成本效益。这一步骤考虑了任务特定的风险和约束，如延迟。

使用自有样本和实际 API 成本测量每个质量点的成本。

用户在 20-55 个真实世界示例上运行候选模型（廉价、中端、前沿），以一致的方式评分（例如精确匹配或 LLM-as-a-judge），然后将每 1，000 次请求的成本除以质量得分。成本从响应中的 `usage.cost` 字段读取，而不是从 token 价格估算，确保准确性。

选择以安全余量超过阈值的最便宜模型。

所选模型必须以大于多次运行中观测到的变异性的余量超过质量门槛，防止因分数波动导致生产问题。这避免了选择勉强满足阈值的模型。

在模型或价格变化时重新评估比较。

频繁的模型发布和价格变动（例如新的 Gemini Flash 版本）可能使先前的分析过时。OpenRouter 的兼容 API 允许通过简单更改现有脚本中的模型字符串来快速重新测试。

在具有不同约束的任务中应用该框架。

示例展示了不同的阈值如何导致不同的模型选择：工单路由使用廉价模型（阈值 80%），代码审查使用中端模型（88%），合规使用前沿模型（95%），突出了框架的适应性。

💬 Key Quotes

「问题不是哪个模型得分最高，而是哪个模型对于你面前的任务足够便宜且足够好。」

「定义门槛，在你自己的示例上测量完整运行，然后选择以大于你观测到的运行间波动的余量超过门槛的最便宜模型。」

「使用你自己的流量，而不是公共数据集或基准示例，来测量对你任务重要的东西。」

「从每个响应中的 `usage.cost` 字段读取成本，而不是从估计的 token 数量。」

「当模型或价格更改时，重新运行比较。」

📊 Article Meta

AI Screening： 85

Source： AIHOT — 精选

Author： noreply@aihot.news (OpenRouter：Announcements（RSS）)

Category： 人工智能

Language： 英文

Read Time： 18 min

Word Count： 4447

Tags：

AI 与智能应用 , 科技新闻 , 模型路由 , 模型发布 , AI智能体