「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭

星海拾光行业资讯📡 量子位2026-11-151395 阅读💛 202 收藏
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭

斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了

鹭羽 发自 凹非寺

量子位 | 公众号 QbitAI

不ber,现在的基准测试都进化到酱婶了???

这回不刷题了,就直接给AI一组实验条件,让它自己研究、提前猜真实湿实验的结果……

比如,同一个反应换几种条件,哪种能得到更多目标产物?一批抗体变体,哪个表达量更高?

答案先藏好,等AI交卷,再拿实测结果对一对。

你还别说,这事儿现在真值得一测。

这两年,AI for Science的方式越来越深入,AI已经能自主查文献、用软件,为完成一项分析任务连续做上几小时也不在话下。

大家自然而然开始进入下一个阶段:我们到底希望AI具备怎样的科研能力?

湿实验结果预测,就是其中颇有实际价值的一项。

它需要AI理解实验目标,并从已有知识中挖掘出相关机制,才能更好地帮助研究人员筛选值得进一步探索的研究方向。

UniPat AI牵头推出的新基准Science Prediction Universe(简称SPU),便敏锐地察觉到这一点。

116个任务,4207个湿实验,覆盖化学、材料科学、生物和医学,基准顾问与湿实验合作成员也来自斯坦福、康奈尔、哈佛等高校,以及业内前沿科研机构和生物技术公司。

模型践行每次工作8小时制,配有一块H20,然后自主决定怎样利用检索与计算资源形成实验预测。

结果出乎所有人意料。

即使强如Opus 5.5、GPT-6 Astra,数据上距离真正能实现预测还都很遥远。。。

各配置在全部已评分任务上的平均得分

不得不说,SPU这是给所有科研模型都上了道硬菜。

从前那些看不见摸不着的科研能力,如今都变成了可以统一评估、持续研究的数值。

至于AI的科研判断怎样一步步养成,就有了更为具体的讨论依据。

湿实验预测:值得单独为模型考一次

回到湿实验预测上,首先这的确不是一道新题。

科学史上有过很多这样的时刻,一个判断在实验之前被给出,然后交给过程去裁决,对了就留下,错了就推翻。

具体的判断逻辑就构成了科学家的品味。

品味够好、直觉够准,科学家就能更快拿到大结果,同时节省宝贵的实验资源。

毕竟光一次湿实验,做化学的要配试剂、设定反应条件,再分离产物;做生物的也要经过漫长的蛋白表达……时间成本、工具费用本身就价格不菲,结果不理想还得反反复复做好几轮。

所以在动手之前先预测,是科研流程里含金量最高的一步。

只不过区别在于,过去这件事纯靠科学家自己,现在到了AI时代,模型也需要有这项能力,并且还需要一张能为之打分的试卷。

现有的基准还无法完全覆盖,比如BrainBench让模型直接判断实验结果,ScienceAgentBench侧重在已有数据上完成分析,Terminal-Bench 4.0和Long-Horizon-TB这类长程任务基准,则主要用预设测试检查任务产物。

SPU与之相比,均有所不同。

它更强调把AI自主研究过程与湿实验结果预测放在一起考,既涉及预测效果,也考验科学工具使用和长程任务执行的能力。

图表由AI生成

这种判断也被SPU组织成了明确的任务。

100个公开任务分别取自85篇近期发布的论文,领域专家从研究中整理候选项、材料、条件与测量方式,保留完整的定量结果作为评分依据。

另外16个私有任务,来自四组未发表的合作湿实验,涉及VHH纳米抗体、反应条件、电解液和Magrolimab变体。

共计32个子领域、4207个实验,其中公开研究提供了跨学科的任务来源,实测结果对模型隐藏,未发表实验则增加了独立于公开论文答案的检验。

这在一定程度上可以避免模型提前见过题目。

SPU的任务覆盖与来源

题目的筛选过程也很有讲究。

专家优先选择测量完整、条件清楚的研究,那些沿着单一趋势就能排序的简单问题会被直接剔除,数值过于接近的问题也会被视作参考意义不大。

最终留下来的那些题,都会更难也更有区分度。

具体预测过程中,要求模型每次运行八小时,配8核CPU、16 GiB内存和一块H20,同时允许联网检索并安装科研软件。

模型将在这段时间里自行搜集证据、选择计算方法,最后提交各比较组从低到高的预测排序。

为了防止记忆污染,评分过程也会全程在独立、断网的容器中进行,禁止AI检索原始研究结果,还会自动扫描工具输出,识别源论文DOI、标题等标识符。

最后系统将用Spearman相关系数对照预测与实测排序。

系数越接近1,排序就越贴近实验结果。

SPU的评测流程

有意思的是,SPU还关注到了很多基准测试没有考虑到的细节。

比如对于最后的得分,SPU会考虑会不会是运气使然,万一是瞎猫碰到死耗子了呢。

所以它会额外为每道题生成4000份随机排序,把第95百分位作为随机水平阈值,检查模型提交是否明显超过这一参照。不同任务也都有相应的参照依据。

整套SPU的设计,可以说是科学严谨的。

模型要在里面一步步自己判断什么值得算,并为最终预测交卷。

这一设计既有利于衡量当前AI的湿实验预测能力,也为后续研究团队借助统一指标持续改进实验指明了方向。

说归说,咱们接下来不妨一起看看首批前沿模型的成绩单。个中细节还挺值得单独拎出来讲讲。

全新测试让前沿模型集体破绷

SPU首轮系统评测覆盖12款前沿模型、13种配置。这里的配置,指的是模型、推理强度以及所使用的模型框架。

先说说整体成绩。

一句话:都不咋地。

在全部已评分任务上,平均分最高的是Claude Opus 5.5,拿了0.486分。但其中也只有一半的任务,超过了随机水平。

13个配置里,几乎都是这样,能超过随机水平阈值的任务比例仅有34%~52%。

也就是说,在场的所有模型距离真正可靠的湿实验预测,都还有一段很长的距离。

领先组和落后组的行为对比分析

不过模型之间亦有差距,平均表现可以划分为两个梯队:

领先组(6个模型)和落后组(7个模型)。

同题比较中,领先组平均还是要比其余七个高出约0.15分。

还有个细节值得注意。领先组约9%的任务得分低于0,其余七个配置的这一比例能高达22%。

这里的0指的就是随机有效排序的平均分,负分即意味着预测与实际排序呈负相关。

差距具体来自哪儿呢?研究团队又往下深挖了一步。

他们先把同题中其它模型的预测合成一份参考排序,再将实验两两配对,对照实测结果,检查每个模型单独有没有排对。

在参考排序正确的实验对上,领先组能排对86%,其余七个配置为78%;而对于参考排序错误的实验对,两组独立排对的比例都在30%左右。

所以其实领先组的一部分优势,恰恰体现在共同预测正确的地方,这部分领先组始终会更稳。

至于模型为什么会偏离正确判断,运行记录里有更具体的线索。

以溶液任务为例,同一个聚合反应,依次更换12种溶剂,任务要求按最后分离得到的聚合物质量排序。

Opus 5.5得分0.874,Qwen3.8为-0.126。12个候选溶剂条件两两配对,共66对,前者排对56对,后者排对30对。

同一道任务上Opus和Qwen的两次执行

分析发现,这是因为二者从一开始关注的因素就有所差别:

Qwen3.8主要依据溶剂能溶解多少乙烯来排序,Opus 5.5更关注原料的混溶情况以及催化剂在溶剂中的相容性。

虽然Qwen3.8在计算过程中,也同样发现了这一问题,但最终没能直接改变模型最后采用的排序依据。

所以预测出错最有可能发生的阶段,就是在选择判断依据的那一步上,模型还要学会根据线索即时调整排序方式,才能让这些发现真正影响答案。

拆开来看,这些差异也会随着具体学科与任务发生变化。

在公开任务各学科的已评分结果中,化学平均分最高的是Opus 5.5,材料科学是Fable 5.1,生物学是GPT-6 Astra Medium,医学是Opus 5。

P.S.Fable 5.1、Opus 5.5存在拒答现象。

各模型在四个学科上的得分

所以如果准备让AI参与某一类研究,不妨先找个相关任务,拿来SPU测测,确定模型真的适用后再进行正式实验。

私有任务的结果,把这一点讲得更具体。

13个配置中有12个的平均分显著高于随机排序,配置之间没有检出明显差异。相比之下,不同任务带来的变化尤为醒目。

同一批电解液,预测离子电导率时,13个配置的排序相关系数集中在0.89~0.95;换成电化学窗口,12个获评分配置的得分为-0.55~0.07,均未超过随机水平阈值。

模型没变,测量目标一换,成绩分布就明显换了。

所以下次再评价一个模型时,只说它擅长化学还不够具体,还要看它具体面对哪一种测量目标、哪些实验条件。

各模型在16个私有任务上的预测表现

再讲一个挺反直觉的事儿:

一般来说,多给模型一些时间、更高的推理强度,成绩应该会继续往上走吧?

大家普遍都是这样想的,也都是这样做的。

结果你猜咋地,SPU的结果一出,直接啪啪打脸——

在同样的8小时运算下,研究团队将GPT-6 Astra从中等推理强度调到最高,最高强度的运行时间中位数增至4.8倍,API成本中位数也增至5.3倍。

但预测得分……几乎纹丝不动。

嗯?研究团队还特地回去翻了翻模型运行记录。

结果好家伙,在完成的79个任务上,GPT-6 Astra最高推理强度通常在运行到中位26%时,就已经给出了答案。

模型后续也没闲着,继续计算修改,但都是微调,没能在结果中显现出差异。

换言之,推理强度再高,也不一定让结果更好。

GPT-6 Astra在两种推理强度下的投入与表现

这个现象倒也给模型的资源分配提了个醒,如果要追加计算,千万别盲目冲,耗时耗力还未必讨巧。

相反可以更细致地沿着运行记录检查,先充分了解新增的证据究竟对应哪项判断,再有目的性地局部提升算力。

其实在工具使用上,也有类似的现象显现。

GPT-6 Astra Max每次运行使用的方法类别中位数为4类,Medium为1类,但两种配置的得分仍未检出显著差别。

理由也差不多,都是好工具没有用在刀刃上。

比如蒙特卡洛采样,虽然大部分时间模型都在调用该工具,但只是给最后的排序加了点误差范围,没有直接影响到结果本身。

科学计算工具调用情况

所以其实,工具用得再多也不如用得准。

GPU的使用情况也提供了一个有意思的视角。

在提供了充足的GPU算力情况下,真正成功运行GPU计算的只有255次,不到五分之一。

不同模型、不同学科,跑GPU的情况也各不相同,所以单纯看调用GPU的次数,本身很难说明模型科研能力。

要判断算力有没有帮上忙,还得看它被用来算了什么、计算结果是否有助于预测,以及这些结果如何影响最终排序。

关键还是要将算力引到排序相关的物理量上,才能让模型更为精准地完成预测。

GPU使用统计

搭配成本一起看,各配置每次运行的平均API成本,从0.22美元到65.91美元不等,差距足足300倍。

这意味着SPU同时提供预测表现与调用成本,对准备部署科研模型的团队,是个不错的参考依据。

从整体得分到同题轨迹,SPU把模型差异展开到了科研判断的每一处细节里,比如算力、比如成本。

AI算出的数值,对预测到底有多大帮助;预测出了错,又该回头检查哪些判断……这些都能结合实验结果与运行记录继续分析。

下一轮改进也就有了可以明确尝试的方向:

根据SPU,模型能够更及时发现错误假设,更有依据地保留或修改排序。改完后,再放回相同任务,看看预测有没有更准。

把「检验理解」搬进模型的考场

可以说,SPU与AI4S的发展规律高度契合。

AI4S的评测正在逐步深入真实实验环节,面向实验执行的基准也在今年陆续出现。

但在执行之外,预测作为科研流程中绕不开的一步,也是最难量化的一步,终于有了可衡量的方式。

这样的好处体现在两方面:

研究者由此可以分析,哪些测量目标更容易预测,哪些任务差异最大,以及一次错误判断如何形成。既能节约昂贵且宝贵的实验资源,也能缩短决策时间。

对模型开发而言,这也提供了更为具体的改进参照。

随着实验类型增多,评测也能回答更具体的问题:面对哪些材料、实验条件和测量方式,AI给出的排序更可靠、更值得参考。

科学家由此可以围绕同一类问题持续积累进展。

事实上,SPU还只是UniPat AI系列真实工作评测中的冰山一角:

  • ScienceVision:关注模型如何从三维科学对象中获取证据并回答问题;
  • PaperBenchX:把已发表研究转为可执行、可验证的论文复现任务;
  • SaaS-Bench及EvoCode-Bench:分别考察实际软件流程与需求持续变化时的开发工作。
    ……

这些工作覆盖科研、办公与软件开发,共同关心AI进入具体工作后怎样完成任务,以及结果如何得到验证。

这也侧面体现了,UniPat AI对AI走向科研实践、甚至走向真实世界,拥有独到的行业认知和前瞻性判断。

UniPat AI也展示出一种新型的AI合作模式:

领域专家参与任务筛选与审核,合作实验室提供未发表任务,项目团队将不同学科的实验组织成统一评测任务。

以SPU为例,由UniPat AI牵头,顾问成员所属机构包括斯坦福、康奈尔、哈佛、UIC、北大、港科大和FutureHouse。来自优睿赛思、爱博泰克、深度原理与恩和生物的湿实验合作成员,参与了相关实验工作。

跨学科知识与实验资源由此进入同一套评测过程。SPU既承载了对问题的选择,也呈现出将科研问题组织成可执行任务所需的协作。

目前SPU相关的100个公开任务计划以完整的Harbor任务包形式发布;16个私有任务继续保持私有,用于受控评测。数据集和代码都已经开源。

诚然,今天的AI,在这套SPU机制面前还只是新手。

它能把工具用得飞快,能在8小时里装三套软件、跑完DFT再做蒙特卡洛,但在最关键的判断上,它还没学会问自己一句,我算的这个量,是不是实验真正需要测的那个量。

但随着这类任务持续积累,AI能够承担怎样的科研工作,也将变得清晰。

SPU把这段距离量了出来,接下来每一次考试,都是AI向真实实验台走近的记录。

项目主页:https://spu.unipat.ai
论文链接:

GitHub开源链接:

版权所有,未经授权不得以任何形式转载及使用,违者必究。
基准测试 湿实验 预测
鹭羽
  • 英伟达上演“奥特曼2.0”,员工集体请愿:让老黄回家!2026-11-14
  • 中国AI突破复杂肺癌诊疗!中美医疗圈集体坐不住了2026-11-13
  • MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍2026-11-03
  • 央视严选「中国AI创业十骏」:唯一AI制药公司是清华系2026-11-02

相关阅读

文章评论(12)

崔欣怡1 天前

看完了,收获满满,期待更多更新。

回复
墨沐雨1 天前

看标题就点进来了,内容果然没让人失望。

回复
林观澜1 天前

这个比较实用,已转发给同事。

回复
空向阳1 天前

很有价值的分享,感谢整理。

回复
林观澜1 天前

写得挺用心的,支持一下。

回复
吴超1 天前

刚好最近在找这方面的资料,太及时了。

回复
星知秋1 天前

内容翔实,正好需要,先收藏再看。

回复
蓝光1 天前

路过

回复
崔欣怡1 天前

赞同,实践出真知。

回复
风拾光1 天前

思路清晰,干货满满。

回复
武磊1 天前

路过

回复
崔欣怡1 天前

楼主辛苦了,内容很有参考价值。

回复