同一 LLM 运行两次,结果高度一致,却低估了总量 22%

📌 One-Sentence Summary
文章介绍了一种源自渔业科学的捕获-再捕获方法:将多个 AI 智能体视为相互独立的「捕获者」,利用它们结果的重叠部分推算遗漏项,从而估计召回率;研究显示,同一模型运行两次可能因共享盲区而低估总召回量 22%。
📝 Summary
文章将捕获-再捕获统计方法应用于 AI 智能体召回率评估。这种方法最初于 1890 年代用于估算鱼群数量。通过将多个提取器视为相互独立的「捕获者」,可以估计实际存在的项目总数,包括所有智能体都遗漏的项目。作者以包含 1,413 条已标注条款的 CUAD 合同数据集为测试平台,比较了多组智能体组合,发现同一模型 Claude Haiku 5.5 运行两次时,估算的召回量比实际值低 22%(1,102 条,而实际为 1,413 条)。来自不同模型家族的组合表现更好,但仍低估约 10%。研究表明,智能体之间高度一致可能具有误导性,因为这可能反映的是共享盲区,而非准确性。使用多个智能体的刀切法估计量将误差从 12% 降至 5%。作者建议至少使用三个具有多样性的提取器,对随机样本进行审查,并在报告精确率的同时报告估算召回率,以避免 AI 评估中的「森林盲区」问题。
💡 Main Points
通过将多个提取器视为相互独立的信息源,并利用它们结果的重叠部分推断遗漏项,可以用捕获-再捕获估计法衡量 AI 智能体的召回率。
该方法使用公式 N = (n1 + 1)(n2 + 1)/(m + 1) - 1,其中 n1 和 n2 分别是每个提取器找到的项目数,m 是两者结果的重叠数。该公式可估算项目总数,包括所有提取器都未找到的项目,类似于通过两次捕捞估算鱼群数量。
同一模型运行两次,结果虽然高度一致,却因共享盲区而低估了召回率 22%。
两次 Claude Haiku 5.5 运行估算出 1,102 条款,而实际数量为 1,413 条。智能体之间高度一致并不代表准确;这也可能意味着错误相关、盲区共享,而非检测正确。
来自不同模型家族的组合表现更好,但召回率仍低估约 10%。
跨模型家族组合(Claude 与 GPT)估算出的条款数量介于 1,173 至 1,258 条之间,仍低于实际的 1,413 条。即使模型具有多样性,也可能存在共同盲区;当信息源并非完全独立时,双信息源捕获-再捕获方法仍会产生偏低估算。
使用三个或更多具有多样性的提取器时,刀切法等多信息源估计方法可将误差从 12% 降至 5%。
刀切法估计量利用仅被一个或两个信息源发现的项目频次,校正项目可检测性不均的问题。在纳入关键词规则的 7 个智能体中,平均绝对误差降至 5%,显示评估信息源的多样性很有价值。
合并召回率假设未观察到的项目并不存在,因此会将智能体表现高估 6 至 12 个百分点。
将任一智能体找到的所有项目都视为真实情况,会忽视「森林盲区」问题。通过捕获-再捕获方法并进行 10% 的人工抽查,估算值与真实召回率相差不超过 2 个百分点;而合并召回率则将 Haiku 的召回率从 75% 高估至 86%。
💬 Key Quotes
当企业 AI 智能体在生产环境中产生幻觉、遗漏关键依赖项或误解政策时,根本原因几乎总是上下文不足或不够准确。
前沿模型是无状态的线性 Token 预测器,具备出色的推理能力。但它们只能基于所提供的上下文进行推理。
真正的教训非常具体:智能体的记忆中可以包含所有正确数据,但当某个变量发生变化时,它仍可能无法更新已有结论。记住事实很容易,管理状态变化很难。
与其将整个企业 CMDB 或架构目录都放进提示词,不如通过拓扑剪枝提取与查询相关的精确子网络,从而大幅减少 Token 消耗。
同一模型运行两次,估算出 1,102 条款(比真实值低 22%)。
合并召回率将每个智能体的召回率高估了 6 至 12 个百分点。
两个检查器结果高度一致,且由此得出的区间很窄,这恰恰是需要进一步审视的理由。
我们不再把一致性视为好兆头。
📊 Article Meta
AI Screening: 88
Source: Towards Data Science
Author: Maksym Bilychenko
Category: 人工智能
Language: 英文
Read Time: 14 min
Word Count: 3364
Tags:
AI 与智能应用 , AI Agent , 大语言模型 (LLM) , Anthropic , AI 评估
不错不错,已加入书签。
支持作者,持续关注中。
这个比较实用,已转发给同事。
支持作者,持续关注中。
作者写得真不错,学到了不少。
赞同,实践出真知。
思路清晰,干货满满。
写得挺用心的,支持一下。
作者写得真不错,学到了不少。
看标题就点进来了,内容果然没让人失望。
收藏了,以后慢慢研究。
有没有更详细的教程,期待后续。