我们能否信任 LLM 判断一个研究想法是否新颖?

📌 One-Sentence Summary
Ai2 发布了一个基准测试,表明基于 LLM 的新颖性评判器在评估 AI 生成的研究想法时极不可靠,提示词措辞会导致 50 多个百分点的准确率波动,而简单的基线方法反而优于专门构建的系统。
📝 Summary
Ai2 推出了「Old Ideas, Novel Problems」,这是一个用于测试 LLM 判断科学研究想法新颖性可靠程度的基准测试。他们利用 ICLR 2026 的同行评审构建了两个评估集:Human-Only(154 个高新颖性人类想法 vs. 145 个较低新颖性人类想法)和 Human+Generated(人类想法 vs. 简单的 LLM 生成想法)。在测试六个评判器(GPT-5.1/5.2/5.4、Claude Sonnet 4.5、Opus 4.5/4.6)后,他们发现了剧烈的不稳定性:细微的提示词改动使 AI 生成想法上的准确率偏移超过 50 个百分点;检索和额外推理并未持续带来帮助;两个专门的新颖性评估器(Idea Novelty Checker、Sakana AI Scientist)表现不如一个简单的 Claude Opus 4.6 提示词加多数投票,而成本却高出 10-30 倍。该工作发布了基准测试、数据、代码,以及一个从同行评审中构建新评估集的自动化流水线。
💡 Main Points
LLM 新颖性评判器很脆弱,尤其是在 AI 生成的想法上
在六个前沿模型中,细微的提示词变化在 Human+Generated 集上导致准确率波动超过 50 个百分点。在人类撰写的想法上表现稳定的评判器,在 AI 生成的想法上却表现不可预测,揭示了自动化科学发现流水线中的一个关键可靠性缺口。
在新颖性判断上,提示词设计的影响超过检索和推理
加入实时 arXiv 搜索和高推理预算(GPT-5.6 Sol)得到的 macro-F1(0.78)低于标准检索的 Claude Opus 4.6(0.89),而成本约为后者的 10 倍。没有一种提示词能普遍改善所有模型;对某个模型有帮助的提示词可能会损害另一个模型。
简单的提示词基线在新颖性评估器的准确率和成本上都更胜一筹
一个三次调用 Claude Opus 4.6 提示词加多数投票的方案以 2.59 美元实现了 0.854 的 macro-F1,优于 Idea Novelty Checker(0.642,30.66 美元)和 Sakana AI Scientist(0.772,82.05 美元),而这两者使用的是相同的基础模型。
基准测试的构建从同行评审中挖掘明确的新颖性信号
该流水线并非以录用与否作为代理指标,而是提取评审中明确赞扬或质疑原创性的段落。标注者验证显示极性一致率达 94%。这为人类和 AI 生成的想法都产出了更精确的新颖性真实标签。
开放发布使社区能够持续改进新颖性评估
论文、数据集(allenai/novelty-judge-bench)、代码(allenai/novelty-eval),以及一个从未来同行评审中构建新评估集的自动化流水线均已公开,使研究人员能够在不断演进的文献上测试下一代评判器。
💬 Key Quotes
如果 AI 将在科学发现中扮演更大的角色,我们需要更可靠的方法来判断它是否真的提出了新东西。
仅仅改动提示词中的几个词,就会使模型在判断两个想法中哪个更新颖时的准确率偏移超过 50 个百分点
检索和额外推理并未持续改善判断
简单的提示词基线比两个专门构建的系统都更准确,而且成本低得多
自动化构思不仅仅依赖于生成看似合理的研究方向;我们还需要方法来辨别这些想法何时是真正新颖的。
📊 Article Meta
AI Screening: 89
Source: Hugging Face - Blog
Author: Kyle Wiggers
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1662
Tags:
AI 与智能应用 , AI 工作流 , 模型评测与基准 , AI Agent , 大语言模型 (LLM)
楼主辛苦了,内容很有参考价值。
这个观点很中肯,深有同感。
讲解得很细致,新手也能看懂。
有没有更详细的教程,期待后续。
点赞,必须点赞
实测过类似工具,作者说的基本属实。
路过
赞同,实践出真知。
看标题就点进来了,内容果然没让人失望。
刚好最近在找这方面的资料,太及时了。
内容翔实,正好需要,先收藏再看。
收藏了,以后慢慢研究。