关于 Agent 评测的最常见问题，已解答

📌 One-Sentence Summary

LangChain 提供了一份全面的 Agent 评测实用指南，涵盖离线/在线评测、评测器类型、LLM 评委、基准测试、成本控制和多轮对话评估。

📝 Summary

这篇 LangChain 博文回答了关于评估 AI 智能体的最常见问题。它解释了 Agent 评测通过给运行打分来验证预期行为，这与确定性单元测试不同。指南建议从小处着手：选取一个行为，从真实轨迹中构建 10-20 个示例的数据集，运行基线，并加入失败案例以形成改进循环。它区分了离线评测（发布前，有参考输出）和在线评测（生产监控，无参考输出），并指出两者相互促进。涵盖了四种评测器类型：用于确定性检查的代码评测器、用于主观质量的 LLM-as-judge、提供最佳信号的人工审查，以及用于比较提示词/模型的成对比较。对于可靠的 LLM 评委，文章建议与人工评分对比、提问具体问题，并使用二元或分类量表。Terminal-Bench 等基准测试被定义为具有容器化环境和检查最终状态的测试脚本的离线评测。在线评测的成本控制包括采样、代码检查和更便宜的评委模型。预置评测器（agentevals、LangSmith 模板）和自动化评测生成（Eval Engineering Skill、LangSmith Engine）减少了定制工作。多轮对话应作为线程/轨迹进行评估，复杂智能体需要基于 harness 的最终环境状态评估。LangSmith 对于追踪和评估是框架无关的。

💡 Main Points

用小规模、源自轨迹的数据集和改进循环启动 Agent 评测

选取一个关键行为，收集 10-20 条真实轨迹作为示例，运行基线实验，然后持续将生产环境的失败案例加入数据集并重新运行，形成良性改进循环。

离线评测与在线评测作用互补，应配合使用

离线评测在发布前针对带有参考输出的固定数据集测试变更；在线评测通过代码检查和 LLM 评委监控无参考输出的实时流量。在线捕获的失败案例会成为新的离线数据集示例。

根据检查对象匹配评测器类型：代码用于确定性事实，LLM 评委用于主观质量，人工用于校准

代码评测器快速且一致，但仅限于确定性输出。LLM 评委能处理细微差别，但需要与人工评分校准、提问具体问题，并使用二元或分类量表。人工审查是主观质量和评委验证的金标准。

基准测试是容器化的离线评测，检查多步 Agent 动作后的最终状态

与简单评测不同，基准测试提供隔离环境（含仓库、文件、工具的容器），通过检查 Agent 运行后的环境状态（如测试结果、文件变更）进行打分。Harbor 和 LangSmith Sandboxes 为自定义 Agent 实现了这一能力。

切实的成本与工具策略让生产环境评测成为可能

对在线评测流量进行采样/过滤，尽可能使用代码检查，采用更便宜的评委模型（如 Jev 0.34 美元 vs Claude 28 美元）。利用预置评测器（agentevals、LangSmith 模板）和自动化评测生成（Eval Engineering Skill、LangSmith Engine）减少定制工程工作量。

💬 Key Quotes

「评测为 Agent 的运行打分，以便你检查其是否按预期行为运行。」

「Agent 更难测试，原因有几点：即使是同一请求，不同运行的输出也会不同；可能不止一个答案是正确的；Agent 会自行选择步骤。」

「有效的模型路由器应置于测试框架中，而非通用网关。」

「有效的路由器设计始于可观测性与评测。」

「将路由视为上下文工程，类比特征工程。」

📊 Article Meta

AI Screening： 87

Source： LangChain Blog

Author： Divya Santhanam

Category： 人工智能

Language： 英文

Read Time： 13 min

Word Count： 3169

Tags：

AI 与智能应用 , 测试与质量 , 可观测性 , AI 工程 , 开发者工具