Orange Business 如何利用 LangChain 和 LangSmith 构建实时智能

📌 One-Sentence Summary

LangChain 在 Open SWE 智能体框架内部构建了一个模型路由器，通过对任务进行分类并选择最具性价比的模型，在不牺牲质量的情况下降低了 64% 的中位数成本。

📝 Summary

LangChain 详细介绍了其 Open SWE 编码智能体模型路由器的实现。通过将路由器置于代理框架内部而非通用网关，系统利用了现有的任务和领域上下文来做出路由决策。在分析了数千条追踪后，团队将任务类型和复杂度映射到三级模型策略（快速、平衡、高性能）。针对 973 个线程的 A/B 测试表明，在保持合并 PR 率统计学上平稳的情况下，中位数成本降低了 64%。本文涵盖了路由方法论、评估体系以及子智能体路由等未来方向。

💡 Main Points

感知上下文的路由位置

路由器构建在代理框架内部而非通用网关，是因为路由需要访问框架已经组装好的特定任务和领域上下文。

不损失质量的情况下显著节省成本

A/B 测试显示，每个线程的中位数成本从 $2.61 降至 $0.94（降了 64%），同时成功率在统计学上保持平稳。

数据驱动的模型分层

团队分析了 LangSmith 的追踪数据以映射任务类型（功能、修复修复、测试）和复杂度，在成本与智能的帕累托前沿选取了三个模型。

评估优先的设计

有效的路由器设计始于可观测性和评估（使用合并 PR 率和用户反馈等指标）来定义标准，而不是仅仅随机选择模型。

💬 Key Quotes

「前沿 LLM 是昂贵的，而大多数智能体任务并不需要前沿智能。」

「有效的模型路由器应该属于框架，而不是通用网关。」

「有效的路由器设计始于可观测性和评估。」

「将路由视为上下文工程，类似于特征工程。」

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： LangChain Blog

Author： Sofia Sulikowski

Category： 人工智能

Language： 英文

Read Time： 4 min

Word Count： 979

Tags：

AI 与智能应用 , AI Agent , 模型路由 , Prompt缓存 , 大语言模型 (LLM)