同一 LLM 运行两次,结果高度一致,却低估了总量 22%

邱宇AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-101289 阅读💛 120 收藏
同一 LLM 运行两次,结果高度一致,却低估了总量 22%

📌 One-Sentence Summary

文章介绍了一种源自渔业科学的捕获-再捕获方法:将多个 AI 智能体视为相互独立的「捕获者」,利用它们结果的重叠部分推算遗漏项,从而估计召回率;研究显示,同一模型运行两次可能因共享盲区而低估总召回量 22%。

📝 Summary

文章将捕获-再捕获统计方法应用于 AI 智能体召回率评估。这种方法最初于 1890 年代用于估算鱼群数量。通过将多个提取器视为相互独立的「捕获者」,可以估计实际存在的项目总数,包括所有智能体都遗漏的项目。作者以包含 1,413 条已标注条款的 CUAD 合同数据集为测试平台,比较了多组智能体组合,发现同一模型 Claude Haiku 5.5 运行两次时,估算的召回量比实际值低 22%(1,102 条,而实际为 1,413 条)。来自不同模型家族的组合表现更好,但仍低估约 10%。研究表明,智能体之间高度一致可能具有误导性,因为这可能反映的是共享盲区,而非准确性。使用多个智能体的刀切法估计量将误差从 12% 降至 5%。作者建议至少使用三个具有多样性的提取器,对随机样本进行审查,并在报告精确率的同时报告估算召回率,以避免 AI 评估中的「森林盲区」问题。

💡 Main Points

通过将多个提取器视为相互独立的信息源,并利用它们结果的重叠部分推断遗漏项,可以用捕获-再捕获估计法衡量 AI 智能体的召回率。

该方法使用公式 N = (n1 + 1)(n2 + 1)/(m + 1) - 1,其中 n1 和 n2 分别是每个提取器找到的项目数,m 是两者结果的重叠数。该公式可估算项目总数,包括所有提取器都未找到的项目,类似于通过两次捕捞估算鱼群数量。

同一模型运行两次,结果虽然高度一致,却因共享盲区而低估了召回率 22%。

两次 Claude Haiku 5.5 运行估算出 1,102 条款,而实际数量为 1,413 条。智能体之间高度一致并不代表准确;这也可能意味着错误相关、盲区共享,而非检测正确。

来自不同模型家族的组合表现更好,但召回率仍低估约 10%。

跨模型家族组合(Claude 与 GPT)估算出的条款数量介于 1,173 至 1,258 条之间,仍低于实际的 1,413 条。即使模型具有多样性,也可能存在共同盲区;当信息源并非完全独立时,双信息源捕获-再捕获方法仍会产生偏低估算。

使用三个或更多具有多样性的提取器时,刀切法等多信息源估计方法可将误差从 12% 降至 5%。

刀切法估计量利用仅被一个或两个信息源发现的项目频次,校正项目可检测性不均的问题。在纳入关键词规则的 7 个智能体中,平均绝对误差降至 5%,显示评估信息源的多样性很有价值。

合并召回率假设未观察到的项目并不存在,因此会将智能体表现高估 6 至 12 个百分点。

将任一智能体找到的所有项目都视为真实情况,会忽视「森林盲区」问题。通过捕获-再捕获方法并进行 10% 的人工抽查,估算值与真实召回率相差不超过 2 个百分点;而合并召回率则将 Haiku 的召回率从 75% 高估至 86%。

💬 Key Quotes

当企业 AI 智能体在生产环境中产生幻觉、遗漏关键依赖项或误解政策时,根本原因几乎总是上下文不足或不够准确。

前沿模型是无状态的线性 Token 预测器,具备出色的推理能力。但它们只能基于所提供的上下文进行推理。

真正的教训非常具体:智能体的记忆中可以包含所有正确数据,但当某个变量发生变化时,它仍可能无法更新已有结论。记住事实很容易,管理状态变化很难。

与其将整个企业 CMDB 或架构目录都放进提示词,不如通过拓扑剪枝提取与查询相关的精确子网络,从而大幅减少 Token 消耗。

同一模型运行两次,估算出 1,102 条款(比真实值低 22%)。

合并召回率将每个智能体的召回率高估了 6 至 12 个百分点。

两个检查器结果高度一致,且由此得出的区间很窄,这恰恰是需要进一步审视的理由。

我们不再把一致性视为好兆头。

📊 Article Meta

AI Screening: 88

Source: Towards Data Science

Author: Maksym Bilychenko

Category: 人工智能

Language: 英文

Read Time: 14 min

Word Count: 3364

Tags:

AI 与智能应用 , AI Agent , 大语言模型 (LLM) , Anthropic , AI 评估

#AI 与智能应用# AI Agent# 大语言模型 (LLM)# Anthropic# AI 评估

文章评论(12)

郭超5 天前

不错不错,已加入书签。

回复
雪影5 天前

支持作者,持续关注中。

回复
墨向阳5 天前

这个比较实用,已转发给同事。

回复
墨向阳5 天前

支持作者,持续关注中。

回复
拾贝者5 天前

作者写得真不错,学到了不少。

回复
龙文博5 天前

赞同,实践出真知。

回复
星寻梦5 天前

思路清晰,干货满满。

回复
墨沐雨5 天前

写得挺用心的,支持一下。

回复
武磊5 天前

作者写得真不错,学到了不少。

回复
林拾贝5 天前

看标题就点进来了,内容果然没让人失望。

回复
墨沐雨5 天前

收藏了,以后慢慢研究。

回复
雪影5 天前

有没有更详细的教程,期待后续。

回复