利用 ScaleDown 和 Deep Agents 构建长时运行的智能体

📌 One-Sentence Summary

LangChain 引入了 ScaleDown 集成，利用约束解码模型 (CDMs) 处理上下文管理（摘要、压缩和提取），为长时运行的智能体提供比前沿 LLM 更快、更廉价的方案。

📝 Summary

构建长时运行的智能体需要持续的上下文管理（如总结历史、压缩工具结果和提取数据），而使用前沿 LLM 处理这些任务通常速度慢且成本高。LangChain 现在集成了 ScaleDown 的约束解码模型 (CDMs)，这些模型专注于特定窄任务，在速度和成本方面有显著提升（最高可快 200 倍，成本降低 467 倍）。此次集成为 LangChain 和 Deep Agents 提供了三种特定的中间件：一个用于总结旧历史，一个用于通过查询压缩大型工具结果，以及一个用于从用户消息中提取结构化数据。此外，本文演示了如何使用 ScaleDown 的 Classify 模型构建「熔断机制」以检测智能体漂移。ScaleDown 目前也已在 LangSmith LLM Gateway 中获得支持，以实现统一的追踪和支出管理。

💡 Main Points

约束解码模型 (CDMs) 优化了智能体上下文管理的「开销」

通用 LLM 对于摘要或提取等窄任务来说过于冗余。CDMs 针对特定任务进行训练，使其在保持或超过特定功能准确率的同时，体积更小、速度更快且成本更低。

三种专用中间件实现了长时运行智能体的自动化上下文扩展

该集成提供了 ScaledownSummarizationMiddleware 以防止上下文窗口溢出，ScaledownToolCompressionMiddleware 通过查询剔除工具输出中的无关数据，以及 ScaledownExtractionMiddleware 从用户输入中提取精确的结构化字段。

ScaleDown 的 Classify 模型实现了高效的运行时监控与「熔断机制」

由于分类任务成本低且速度快，可以在每轮对话中运行以检测「漂移」或「循环」而不会增加显著延迟，从而允许系统根据概率分数和自然语言原因停止无效率的运行。

「默认廉价，异常才用前沿模型」的架构降低了总拥有成本

通过将高频的结构化决策分流给 ScaleDown，并为开放式生成和规划保留前沿模型，开发者可以在不增加线性成本的情况下扩展智能体规模。

💬 Key Quotes

「构建长时运行的智能体归根结底在于上下文管理的艺术：决定哪些信息进入上下文窗口，以及何时进入。」

「ScaleDown 报告称，其模型在这些窄任务上的速度比前沿模型快 200 倍，成本低 467 倍。」

「保留一个通用 LLM 用于开放式生成，例如编写代码、起草回复和规划。」

「在困难部分使用大型通用 LLM，而在其周围的高频步骤中使用专用模型。」

📊 Article Meta

AI Screening： 86

Source： LangChain Blog

Author： Sydney Runkle

Category： 人工智能

Language： 英文

Read Time： 8 min

Word Count： 1976

Tags：

AI 与智能应用 , AI Agent , 上下文工程 , AI 工程 , 模型路由