Broad研究所双讲者课：LLM智能体怎么搭、怎么评估、怎么防失控

一句话结论

这是 Broad 研究所 MPG Primer 系列的一堂智能体专题课，采用双讲者结构：Maha Shady 在哈佛大学生物信息学与整合基因组学项目完成博士训练，现任职 Dana-Farber 癌症研究所 Eli 与 Alon 实验室，主讲智能体基础与评估方法论；Shreya Johri 随后分享单细胞工作流评估的研究视角。123 分钟的讲座分两大块：前半场把 LLM 智能体拆成上下文、脚手架、记忆、多智能体四大组件，讲清楚”模型”和”智能体系统”的边界在哪里；后半场聚焦评估——为什么智能体在真实任务里难以打分、SWE-bench 和 LabBench 这类基准各自测什么、污染（contamination）如何让分数失真，以及一套从任务定义到人工审批闸门的完整开发清单。任何一个要评估或部署智能体系统的人，这堂课提供的是可以直接照查的框架，而不是概念科普。

讲者与背景

MPG Primer 是 Broad 研究所面向研究人员的系列入门讲座。本场为 MIA（Members’ Ideas & Algorithms）形式：Shady 先做 primer 主讲，Johri 接续分享自己的研究工作。Shady 在开场明确说了讲座目标：讲清楚什么是智能体 AI 系统、构建这种系统需要哪些组件，然后把整个后半场留给”评估”这个在生物医学场景里最容易被忽视的环节。

这个定位很有针对性。她观察到，学界和业界发表智能体生物医学应用的论文和公司越来越多——覆盖科研工作流和临床支持两类场景——但”能不能用”的判断标准一直模糊。这堂课就是冲着补这个缺口来的。

智能体不是模型：四大组件拆解

组件一：迭代决策循环

Shady 先给出了一个来自近期综述的定义：智能体 AI 系统是由一个或多个计算模型组成的、自主运行以达成目标的系统。关键词是”自主”——普通的大模型调用是一次性的，你给提示词、它给回答，中间不依赖外部逻辑；而智能体系统里，模型参与一个迭代决策循环。

这个循环的运转方式是：系统先组装一个上下文（context）提供给模型——可以是用户提示词，也可以是之前循环迭代的结果；模型基于上下文推理，生成输出；输出要么是答案，要么是一个要执行的动作；如果要执行动作，系统就把动作交给外部工具处理，把执行结果再喂回上下文，进入下一轮迭代。模型本身没变，变的是”谁在编排循环”。

这个结构直接解释了智能体的两大特性。好处是跨迭代积累的上下文能影响后续推理步骤，让模型执行长期复杂任务的能力大幅增强；代价是错误也会沿循环传播——一步小错在后续迭代里被放大成级联失败（cascading failures）。评估和设计智能体系统时，“错误传播控制”和”任务能力增强”是同一枚硬币的两面，只看后者不看前者就是埋雷。

另外，当代推理模型的思考能力可以来自两个源头：一是模型侧，用监督微调和强化学习训练出来的推理轨迹（reasoning traces）；二是脚手架侧，在代码里强制要求结构化输出包含思考块，模型没产出就重新提示。理解这一点在实际选型时很关键——推理能力不是纯模型属性，工程侧有很大的补偿空间。

组件二：脚手架与代码动作

编排循环的外部逻辑叫脚手架（scaffolding）。Shady 重点介绍了一种叫 CodeAct 的动作范式：智能体的每个动作不是一行自然语言指令，而是一段 Python 代码块，由脚手架放进沙箱解释器执行。这样做的好处有三个：一段动作里可以包含多步逻辑；智能体可以观察 Python 报错的 traceback 自己调试；代码里的函数调用天然就是工具调用的接口。

对要搭系统的人来说，这是一个实用的架构判断：如果你的任务链路长、步骤之间有依赖，纯文本指令的智能体会频繁出错，代码动作模式能显著降低失误率。

组件三：记忆管理

对于复杂的长周期工作流，Shady 强调记忆管理是独立组件。典型做法是把记忆分区成短期和长期两个存储：短期记忆就是当前循环的上下文窗口，长期记忆是可以跨任务读写的持久存储，两者都能被上下文组装过程调用。她提醒，很多智能体项目失败不是因为模型不行，而是因为没设计记忆分区——上下文被无关历史塞满，模型表现直线下降。

组件四：多智能体分工

多智能体系统在这个框架下就是把单个 LLM 换成多个专门化的子智能体，每个子智能体负责特定任务类型，通过共享上下文协作。典型结构是设一个协调者智能体（orchestrator agent）做目标分解，把拆好的子任务分派给各专家智能体，再收集它们的输出汇总结论。

Shady 提醒多智能体不是免费午餐：每多一个子智能体，就多一份角色定义、多一类协调规则、多一处可能出错的接口。她在后面的开发清单里专门强调，多智能体系统必须精确定义每个子智能体的角色和协调者的管理规则，否则”分工”会退化成”互相传话”。

反思机制：让智能体自己查自己

在组件之外，Shady 花了不少篇幅讲反思（reflection）机制。最简单的形式是交叉验证检查点：在生成最终输出前，插入一轮”检查自己推理”的步骤。进阶做法是 Critic 式工具调用——模型在推理过程中穿插调用外部工具（搜索引擎、代码解释器），用工具返回的事实核验自己推理链里的声明，在生成最终答案前识别潜在错误。

这个机制对实际部署的价值很直接：智能体工作流里错误会级联（cascading errors），前面一步的小错会被后面步骤放大。反思检查点是在级联发生前的最后一道内部防线——但它不能替代外部安全机制，这点她在后半场反复强调。

一个实用的分层理解：反思是”让模型自查作业”，硬编码闸门是”老师收作业前先过机器查重”。前者提升日常输出质量，后者守住不可逆操作的底线，两层缺一不可。只做反思不设闸门，遇到模型自查不出的盲区照样翻车；只设闸门不做反思，每个动作都要人批，自动化收益归零。

真实工作流长什么样：单细胞数据的迭代循环

在进入评估方法前，第二位讲者 Shreya Johri 用单细胞 RNA 测序（scRNA-seq）数据分析展示了为什么生物医学工作流是智能体最难的一类考题——这也是她的研究主题”Evaluating AI agents in biological discovery”的切入点。

一个标准 scRNA-seq 分析的输入是”细胞×基因”矩阵，流程包括质量控制、标准化流程运行、细胞类型注释等多个步骤。关键在于这个流程不是一次跑通的：计算生物学家没有人一遍就完成分析。典型场景是——第一遍跑到细胞类型注释阶段，才发现有些低质量细胞或双联体（doublets）在质控步骤漏网了，正在污染分析结果，于是必须回头清除这些细胞、重跑整条管线。

这种迭代性正是多数基准漏掉的东西。一次性问答测不出”发现上游错误、回滚、重跑”的能力，而这个能力恰恰是真实分析工作的核心。Johri 的建议是把迭代行为本身纳入观察：评估智能体时不能只看最终输出，要看它会不会在发现异常时主动回溯检查上游步骤。

她还点了两个常被忽略的评估维度。一是多模态：计算生物学家从不只看表格，绘图是识别离群样本和异常行为的核心信号，所以评估循环里要包含”模型看图”的环节。二是多组学整合：她以非负矩阵分解（NMF）识别基因集模块、再让模型跑 GSEA 富集分析为例，说明跨组学数据整合能提供更多样本信息，智能体处理这类跨模态任务的能力需要单独设计测试。

评估为什么难：三个结构性困难

讲座后半场的核心是评估。Shady 列了三个让智能体评估变得困难的根本问题：

第一，真实任务没有唯一正确答案。 如果你面对的是一个全新研究问题或没见过的临床病例，你自己都不知道标准答案是什么，用”和答案比对”的方式打分从一开始就不成立。

第二，多步工作流没法用问答基准衡量。 生物医学工作流是多样化的多步任务，问答类基准（Q&A benchmark）只能测知识点，测不出流程执行能力。

第三，过程评估和结果评估同样重要。 你需要确认模型遵循的是可靠的工作流程、没有安全违规——比如泄露敏感数据、或者在没有监督的情况下执行了不该执行的动作。一个结果正确但过程违规的智能体，在部署环境里就是定时炸弹。

这三条叠起来指向同一个结论：智能体的可观测性（oversight）天然不足。传统软件的行为写在代码里，可以逐行审计；智能体的行为藏在权重和上下文里，同一个输入可能产生不同输出。Shady 在后面给出的硬编码闸门、沙箱、审批点，本质上都是在用工程手段补偿这种不可观测性——既然没法审计模型的”想法”，就约束它能触碰的”手脚”。

两个基准的启示：SWE-bench 与 LabBench

SWE-bench：测真实工程能力，但要防污染

SWE-bench（软件工程基准）测量智能体在真实环境里的编码能力——作者们收集了一批开源 Python 仓库的真实 issue，让智能体定位并修复。Shady 认为 coding 是生物医学智能体的核心能力之一，因为生物数据分析工作流大量依赖写代码。

但这个基准有个所有基准共有的隐患：污染。模型训练时可能见过基准本身或高度相关的任务，导致评估结果不可靠。她举了实证：后续研究者用私有化的专有数据代码库复测，智能体性能出现了下降——这说明初始评估里的分数有一部分来自污染，模型不是在解决新问题，而是在回忆见过的答案。

应对方法只有一个：测试任务要选模型训练数据里不可能包含的全新任务，比如你自己机构内部的私有数据流程。Shady 把这条和她的第一部分呼应起来：为什么 coding 是生物医学智能体的核心能力？因为生物数据分析工作流大量依赖写代码——从数据清洗到统计建模到可视化，每一步都是代码任务。一个在 SWE-bench 上表现好但在你的私有管线任务上掉链子的智能体，对你的团队就是不合格，不管它公开分数多高。

LabBench：2400 道题测生物研究能力

LabBench 专门为生物研究设计，由 2400 道多选题构成，题目用语言模型提示生成加科学家人工策展的组合方式搭建。它的题目设计比”知识问答”深得多，覆盖六类能力：给模型看论文里的图或表格（不带正文）回答需要解读图形细节的问题；在生物数据库或论文补充材料里检索；对分子序列做推理；从科学文献检索信息——且刻意聚焦近期论文里的冷门发现，防止模型靠记忆或摘要直接答出；对被人为改错或删步骤的实验协议做推理，预测修改后协议的假想结果、找出修复方法；以及复杂真实克隆场景的问题。

初始评估的结果是：各任务表现不均，但总体低于人类水平。不过 Shady 特别标注了一个限定条件——这次评估测的是不带任何工具增强的裸前沿模型，只能算性能下界；配置合理脚手架和工具的智能体可能表现更好。这个”下界”思维对读 benchmark 的人同样重要：报告里的分数是在什么配置下拿到的，直接决定它对你的参考价值。

Shady 的结论句值得原样记住：基准性能不代表部署性能（benchmark performance does not necessarily reflect deployment performance）。这句话是所有拿厂商 benchmark 分数做采购决策的人都需要反复提醒自己的。

部署级开发清单：从任务定义到审批闸门

讲座最后三分之一给出了完整开发清单。要在真实环境里跑智能体系统，按这个顺序核对：

第一步：精确定义任务和成功标准。 任务定义必须精确到可执行，成功标准必须可测量——这两件事直接决定后面的系统设计和评估程序。模糊的任务定义是智能体项目最常见的死因。

第二步：准备输入数据并脱敏。 明确哪些输入数据对系统开放，提前做去标识化处理保护隐私信息。在生物医学场景这是合规硬要求，在其他行业同样适用——给智能体的上下文里有什么，智能体就可能输出什么。

第三步：系统设计阶段写入硬编码安全机制。 这是最具实操价值的一段。Shady 列出的硬编码机制包括：

• 人工监督检查点（checkpoints for human oversight）：关键动作前必须等人批准
• 审批闸门（approval gates）：敏感操作单独设闸
• 文件和数据库写权限限制：默认只读，写操作显式授权
• 运行前备份文件：给失误留退路
• 沙箱环境执行：智能体的所有代码动作在隔离环境跑，不碰生产系统
• 明确定义每个工具的用途和调用条件（工具 schema）

这些机制的特点是”不依赖模型自觉”——不管模型多聪明，硬编码的闸门它绕不过去。这是与反思机制的本质区别：反思是模型自律，硬编码是制度约束。

第四步：设计评估程序。 这一步的细节最值得抄录。Shady 给出的清单包括：

• 推理轨迹（reasoning traces）只能参考不能尽信——它不一定是模型真实决策过程的忠实记录，安全结论必须依赖硬编码机制而不是模型自述
• 过程质量单独评估：检查智能体写的代码、审查工具调用决策是否恰当、验证步骤是否有效、流程是否安全
• 条件允许时做并行多次运行，报告 pass@k 指标（K 次尝试中至少一次成功的概率），这比单次运行的成败稳定得多
• 准备私有或时限性基准（private or time-restricted benchmarks）：用模型训练数据不可能包含的任务持续测试，对抗污染
• 多智能体系统要精确定义每个子智能体的角色，以及协调者管理子智能体的规则；每个工具的用途和必填参数都要写清楚——工具 schema 定义得越明确，智能体调用工具的出错率越低

现场问答的两个高价值问题

问题一：智能体会不会有类似 CASP 的中心化评估？ 有听众问，蛋白折叠领域有 CASP 这个几十年历史的社区中心化盲测平台，智能体领域会不会出现类似机制，替代现在满地的零散 benchmark。Shady 坦率回答”我个人不确定”——她没看到明确的类似 CASP 的中心化组织正在形成，当前仍是大量点状基准并存的局面。

这个问题背后是评估经济学：CASP 之所以能持续几十年，是因为社区有共识的组织成本分摊机制；智能体基准目前多是各机构自建，任务设计、数据策展、维护更新都是自费，导致基准质量参差且生命周期短。对评估者的实际建议是维护一份自己的”基准组合”：跨机构取多个基准交叉验证，任何一个停更或被污染就替换，不把判断押在单一基准上。

问题二：人与智能体的磨合期怎么算？ 另一位听众问人的适应成本——有人一个月才能适应用 AI 并理解它的行为边界，有人一周就够了。Shady 认为模型开发者侧的控制固然重要，但使用者侧的学习曲线无法跳过，团队引入智能体系统时要把磨合期算进部署成本，不能假设上线即全效。她还补充了一个更深的顾虑：模型开发者在训练侧做的行为控制，使用者几乎无法验证——你不知道厂商有没有做、做了多少，所以使用侧只能靠自己的硬编码闸门兜底，这个责任无法外包给模型厂商。

拿来就能用的三件事

把这堂课压缩成可执行要点：

如果你在选型智能体方案：要求供应商演示真实任务而非念 benchmark 分数；问清楚他们的评估任务是否可能是模型训练数据的一部分；用自己机构的私有任务做验收测试。

如果你在搭智能体系统：先写任务定义和可测量成功标准再动工；记忆分区从第一天就设计好；代码动作加沙箱；关键动作前设人工审批闸门——这四条顺序不能乱。

如果你在评估智能体表现：过程和结果分开打分；污染风险当默认假设处理；把”没有安全违规”作为一票否决项，而不是加权平均里的一个权重。

原文信息

• 原视频标题：MIA: Shreya Johri, Evaluating AI agents in biological discovery; primer by Maha Shady
• 频道：Broad Institute
• 讲者：Maha Shady（Dana-Farber 癌症研究所 Eli 与 Alon 实验室，primer 主讲）、Shreya Johri（研究分享）
• 发布日期：2026-06-09
• 视频时长：123 分钟