如何用 Jev 构建智能体 Harness：LangChain x TypeSafe 对谈

📌 One-Sentence Summary

LangChain 与 TypeSafe 的工程师讲解非生成式的 System 1 决策模型 Jev，并演示如何把它接入智能体 Harness，用于高风险工具门控、模型路由与实时内容过滤。

📝 Summary

这场 LangChain 与 TypeSafe 的联合研讨会深入讲解了新发布的 System 1 决策模型 Jev，并演示如何将其接入智能体 Harness。TypeSafe 的 Allie 借助《思考，快与慢》的框架定位 Jev：推理型 LLM 近似 System 2 思考，而 Jev 做的是快速、直觉式的判断，基于范围明确且类型安全的问题，完全不生成文本。由于绝大多数自动化本质上是机器对机器的通信，用重型前沿 LLM 生成散文、再经由工具调用或 CLI 这类人类接口去完成微小决策，会在成本与延迟两端浪费算力。Jev 的 API 接收一个 state 和一组问题，问题分三类：choice 从列表中选出一个选项，score 沿单一语义定义的轴为状态评级，Noul 回答是非问题；设计要点包括把问题拆到不可再分、为每个分数档写下让人能达成一致的定义，并警惕以 or 连接、实则并非二元状态的问题。LangChain 的 Hunter 随后现场演示了 LangChain TypeSafe 中间件：一个 auto mode 门控在工具执行前判定删除客户账户等破坏性调用，另一个模型路由器在快速模型与深度模型之间选择，LangSmith 会追踪每一步决策。Allie 补充了实践建议——审计每一次 Jev 调用，并把指令与评判标准集中管理，因为编码智能体擅长组合问题却不擅长撰写标准——并介绍了社区技能 Jevify，它能扫描智能体代码、找出适合从 LLM 迁移到决策模型的判断点。路线图在多模态与上下文长度上刻意留白，只承诺更快更便宜，而实时用例最抢眼：以约 100-150 毫秒的延迟过滤十万观众的 Twitch 弹幕，以及实时玩 Doom 的智能体。问答环节触及训练方式（以自研合成数据训练的预训练模型混合）、置信度作为概率图上的确定性计算及其在选项竞争场景的失效、32K/64K 上下文上限，以及 Model Jaggedness 文档中只喂给 Jev 必要 state 的建议。

💡 Main Points

Jev 是非生成式的 System 1 决策模型，而非 LLM 替代品

TypeSafe 借《思考，快与慢》把 Jev 定位为对范围明确、类型安全的问题做快速直觉式判断的模型。它不生成文本，只有被程序员嵌入软件后才产生价值，因此与推理型 LLM 是互补而非替代关系。

在机器对机器的软件里，重型 LLM 处理微小决策是大材小用

Allie 认为未来绝大多数自动化都是代码与代码通信，而团队却消耗前沿模型的算力去产出散文，再驱动工具调用或 CLI 这类人类接口。工具调用与结构化输出是补丁式桥梁，其成本与延迟在工单分类这类简单决策上暴露无遗。

choice、score、Noul 三类题型要求问题原子化且定义清晰

choice 从列表中选一个选项，score 沿单一语义轴为状态评级，Noul 回答是非问题。Allie 强调拆解复合问题、为每个分数档写下让人能达成一致的定义，并警惕以 or 连接、实则并非二元状态的问题。

Jev 以廉价中间件形式接入智能体 Harness，承担风险门控与模型路由

Hunter 演示了 LangChain TypeSafe 中间件：在执行前判定删除客户账户等破坏性工具调用——对应 Claude Code 与 Codex 的 auto mode——并在快速模型与深度模型之间路由，LangSmith 全程追踪每个决策以保障可观测性。

置信度需要按领域实测，且常被误用

Allie 解释置信度是对概率图的确定性计算，衡量的是分歧程度。当多个选项本就应该竞争时——比如 Doom 智能体选择注视哪个怪物——低置信度是正常现象；团队应在自己的数据上测试阈值，并考虑最高概率减次高概率等替代统计量。

💬 Key Quotes

从根本上说，Jev 不生成文本。它不是以创建文本或图像为目标的生成式 AI。Jev 做的是基于范围明确的问题、配合类型安全的 schema 快速决策。

我也把代码视为 System 2 思考。代码把各个部分拼接、连接起来，将一堆 System 1 决策组合成推理后的最终输出。

这很令人兴奋，因为在此之前我们必须再发起一次 LLM 调用，模型要推演工具调用，既昂贵又增加延迟。

我们一直知道自己非常快、非常便宜，然后某个晚上我顿悟了：当你又快又便宜时，你就解锁了实时。

置信度主要衡量分歧有多大，也就是概率图有多分散。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： LangChain

Author： LangChain

Category： 人工智能

Language： 英文

Read Time： 24 min

Word Count： 5943

Tags：

AI 与智能应用 , 模型路由 , Harness工程 , 命令行与终端 , AI 工作流

Play Full Video