LangChain CEO 谈推理市场与模型路由:走向商品化,还是持续增值?

AI小蝌蚪行业资讯📡 BestBlogs·全站精选⭐ 902026-10-18334 阅读💛 3 收藏
LangChain CEO 谈推理市场与模型路由:走向商品化,还是持续增值?

📌 One-Sentence Summary

LangChain 联合创始人 Harrison Chase 认为,可靠智能体依赖领域上下文、可控的运行框架和持续演进的评估,而记忆与推理需求同时带来机会和成本压力。

📝 Summary

Harrison Chase 解释了为何模型变强仍未消除智能体的可靠性难题:不确定的模型调用与工具交互,会在系统中累积错误。他主张开发者分别掌控模型、运行框架和上下文,在模型变化时保留迁移能力。垂直智能体应先做好上下文工程与运行框架,再考虑模型后训练。他区分网关接入与智能路由,认为特定领域的路由更需要运行状态、任务知识和提示缓存信息。评估应面向真实任务,并结合调用轨迹检查,不能只看公开榜单或单一分数。持续学习则是在智能体外增加循环:从轨迹提取经验,修改上下文、代码或权重,再衡量是否改进。记忆的难点在于筛选值得保留的经验,而非存储;LangChain 因未找到产品与市场的匹配,放弃了过于通用的商业记忆产品。Chase 估计,公司编程工具支出约为工程师薪资的 30%,并介绍了用量可视化、预算和运行框架优化三步成本治理。这些数字和市场预测均为嘉宾估计,未经独立验证。后半段还讨论了开放模型、推理需求、创业执行与投资机构。

💡 Main Points

分别掌控模型、运行框架与上下文

可迁移的上下文与可调整的运行框架,有助于切换模型供应商,并在模型吸收旧有编排技巧后保留领域行为。

先围绕领域知识构建垂直智能体,再考虑训练模型

从上下文工程、工具和运行框架入手,由领域专家定义有效评估;积累用户使用与证据后,再判断后训练是否值得投入。

区分模型接入与感知上下文的路由

网关提供便于接入的 API,但领域路由还需要运行状态、任务上下文、模型特定提示与缓存信息。

把记忆看作从轨迹中学习,而非数据库存储

持续学习外循环要筛选有价值的观察,更新上下文、代码或权重,并验证改进。Chase 将通用记忆产品的失败归因于领域针对性不足。

通过可视化、预算和运行框架优化控制支出

Chase 估计编程工具支出约为工程师薪资的 30%。他介绍了用量追踪、可调整预算、缓存与路由,并提及一次意外循环一周花费约 4 万美元。

💬 Key Quotes

记忆最难的部分,其实根本不是数据库。

不要过于依赖某一个数字。

如果你在构建垂直智能体,我认为路由需要放在运行框架里。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: 20VC with Harry Stebbings

Author: 20VC with Harry Stebbings

Category: 人工智能

Language: 英文

Read Time: 57 min

Word Count: 14108

Tags:

AI 与智能应用 , 模型路由 , 上下文工程 , AI Agent , Agent记忆

Play Full Video

#AI 与智能应用# 模型路由# 上下文工程# AI Agent# Agent记忆

文章评论(12)

邱文博28 天前

写得挺用心的,支持一下。

回复
逐光而行29 天前

实测过类似工具,作者说的基本属实。

回复
山问津29 天前

作者写得真不错,学到了不少。

回复
星知秋28 天前

很有价值的分享,感谢整理。

回复
暮临风28 天前

这个比较实用,已转发给同事。

回复
星知秋28 天前

赞同,实践出真知。

回复
南山客28 天前

看标题就点进来了,内容果然没让人失望。

回复
蓝归舟28 天前

实测过类似工具,作者说的基本属实。

回复
空向阳28 天前

这个比较实用,已转发给同事。

回复
吴超28 天前

这个观点很中肯,深有同感。

回复
蓝临风28 天前

赞同,实践出真知。

回复
空向阳28 天前

整理得太全面了,省了我不少时间。

回复