我们能否信任 LLM 判断一个研究想法是否新颖?

空逐月AI 前沿📡 BestBlogs·AI高分精选⭐ 892026-10-28911 阅读💛 177 收藏
我们能否信任 LLM 判断一个研究想法是否新颖?

📌 One-Sentence Summary

Ai2 发布了一个基准测试,表明基于 LLM 的新颖性评判器在评估 AI 生成的研究想法时极不可靠,提示词措辞会导致 50 多个百分点的准确率波动,而简单的基线方法反而优于专门构建的系统。

📝 Summary

Ai2 推出了「Old Ideas, Novel Problems」,这是一个用于测试 LLM 判断科学研究想法新颖性可靠程度的基准测试。他们利用 ICLR 2026 的同行评审构建了两个评估集:Human-Only(154 个高新颖性人类想法 vs. 145 个较低新颖性人类想法)和 Human+Generated(人类想法 vs. 简单的 LLM 生成想法)。在测试六个评判器(GPT-5.1/5.2/5.4、Claude Sonnet 4.5、Opus 4.5/4.6)后,他们发现了剧烈的不稳定性:细微的提示词改动使 AI 生成想法上的准确率偏移超过 50 个百分点;检索和额外推理并未持续带来帮助;两个专门的新颖性评估器(Idea Novelty Checker、Sakana AI Scientist)表现不如一个简单的 Claude Opus 4.6 提示词加多数投票,而成本却高出 10-30 倍。该工作发布了基准测试、数据、代码,以及一个从同行评审中构建新评估集的自动化流水线。

💡 Main Points

LLM 新颖性评判器很脆弱,尤其是在 AI 生成的想法上

在六个前沿模型中,细微的提示词变化在 Human+Generated 集上导致准确率波动超过 50 个百分点。在人类撰写的想法上表现稳定的评判器,在 AI 生成的想法上却表现不可预测,揭示了自动化科学发现流水线中的一个关键可靠性缺口。

在新颖性判断上,提示词设计的影响超过检索和推理

加入实时 arXiv 搜索和高推理预算(GPT-5.6 Sol)得到的 macro-F1(0.78)低于标准检索的 Claude Opus 4.6(0.89),而成本约为后者的 10 倍。没有一种提示词能普遍改善所有模型;对某个模型有帮助的提示词可能会损害另一个模型。

简单的提示词基线在新颖性评估器的准确率和成本上都更胜一筹

一个三次调用 Claude Opus 4.6 提示词加多数投票的方案以 2.59 美元实现了 0.854 的 macro-F1,优于 Idea Novelty Checker(0.642,30.66 美元)和 Sakana AI Scientist(0.772,82.05 美元),而这两者使用的是相同的基础模型。

基准测试的构建从同行评审中挖掘明确的新颖性信号

该流水线并非以录用与否作为代理指标,而是提取评审中明确赞扬或质疑原创性的段落。标注者验证显示极性一致率达 94%。这为人类和 AI 生成的想法都产出了更精确的新颖性真实标签。

开放发布使社区能够持续改进新颖性评估

论文、数据集(allenai/novelty-judge-bench)、代码(allenai/novelty-eval),以及一个从未来同行评审中构建新评估集的自动化流水线均已公开,使研究人员能够在不断演进的文献上测试下一代评判器。

💬 Key Quotes

如果 AI 将在科学发现中扮演更大的角色,我们需要更可靠的方法来判断它是否真的提出了新东西。

仅仅改动提示词中的几个词,就会使模型在判断两个想法中哪个更新颖时的准确率偏移超过 50 个百分点

检索和额外推理并未持续改善判断

简单的提示词基线比两个专门构建的系统都更准确,而且成本低得多

自动化构思不仅仅依赖于生成看似合理的研究方向;我们还需要方法来辨别这些想法何时是真正新颖的。

📊 Article Meta

AI Screening: 89

Source: Hugging Face - Blog

Author: Kyle Wiggers

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1662

Tags:

AI 与智能应用 , AI 工作流 , 模型评测与基准 , AI Agent , 大语言模型 (LLM)

#AI 与智能应用# AI 工作流# 模型评测与基准# AI Agent# 大语言模型 (LLM)

文章评论(12)

竹听风19 天前

楼主辛苦了,内容很有参考价值。

回复
风倚栏19 天前

这个观点很中肯,深有同感。

回复
松听风19 天前

讲解得很细致,新手也能看懂。

回复
武磊19 天前

有没有更详细的教程,期待后续。

回复
武磊19 天前

点赞,必须点赞

回复
曹浩19 天前

实测过类似工具,作者说的基本属实。

回复
蓝光19 天前

路过

回复
星知秋19 天前

赞同,实践出真知。

回复
月沐雨19 天前

看标题就点进来了,内容果然没让人失望。

回复
风倚栏19 天前

刚好最近在找这方面的资料,太及时了。

回复
一叶知秋19 天前

内容翔实,正好需要,先收藏再看。

回复
星知秋19 天前

收藏了,以后慢慢研究。

回复