Anthropic 客座文章呼吁 AI 返回科学模型的概率分布

📌 One-Sentence Summary
Anthropic 的客座文章认为,LLM 智能体应返回多个合理科学模型的加权分布,而非单一的最佳拟合模型,以便在科学发现中保留不确定性和其他解释。
📝 Summary
本文介绍了 Anthropic 发布的一篇客座研究文章,该文提出 AI 系统进行科学建模的范式应当转变。来自图宾根 ELLIS 研究所和图宾根大学的研究人员指出,当前 AI 方法通常只返回一个「最佳」模型,这会掩盖其他可能揭示不同机制或预测的解释。他们主张 AI 智能体应返回多个合理模型的加权分布,保留建模过程中的信息,包括未能胜出的候选模型和仍然存在的不确定性。文章以霍奇金–赫胥黎神经细胞模型为例,追溯科学建模的发展历程,说明被否决的替代方案如何帮助人们解读模型。文章还详细介绍了 Wahl 等人形式化提出的 ModelSMC:这是一种针对可执行模拟器程序进行概率推断的方法,允许 LLM 智能体编写候选代码、运行模拟、约束参数并修订方程。在合成流行病动力学、肾脏醛固酮调节和神经科学方面的实验中,高权重模型均识别出了 M 型慢钾电流。作者强调,解读仍是最难交由 AI 完成的步骤,因为数据拟合可以衡量,而理解是否得到提升却缺乏明确的客观指标。文章最后指出,AI 系统应记录答案背后的证据,包括测量数据、未能胜出的候选模型、尚未解决的不确定性,以及搜索过程中引出的问题。
💡 Main Points
LLM 智能体应返回多个合理科学模型的加权分布,而不是单一的最佳拟合模型,以保留不确定性和其他解释。
只返回一个足够好的答案会掩盖可能支持不同机制或预测的其他解释;保留模型分布,则能呈现建模过程中的信息,包括被否决的候选模型和仍然存在的不确定性,从而有助于正确解读。
ModelSMC 将针对可执行模拟器程序的概率推断形式化,使 LLM 智能体能够通过迭代模拟和改进来发现科学模型。
每个候选模型都是由 LLM 根据已有实现、评估反馈和任务背景提出或完善的一个粒子。基于似然的加权和重采样会让粒子群集中到更有前景的结构上,同时在发现过程中对参数进行边缘化处理。
以霍奇金和赫胥黎的神经细胞模型为例,科学建模的历史实践表明,记录被否决的替代方案对于正确解读至关重要。
霍奇金–赫胥黎模型选择四次方项,不仅因为它在数值上拟合得好,也因为研究者理解到较低次幂的方案均未成功。这一认识支持了关于细胞膜门控机制的假设;如果只报告最终模型,这些信息便无从得知。
SNPE 等基于模拟的推断方法,能够在传统似然计算难以实现时,为机理模拟器进行参数估计。
SNPE 通过抽样参数、运行模拟器,并利用合成输出训练神经估计器,可以根据实验数据估计生物物理参数,无需计算似然或使用可微分的模型代码。霍奇金–赫胥黎实验中使用了 100,000 次模拟,验证了这一点。
在 AI 辅助科学发现中,解读仍是最难交由 AI 完成的步骤,因为与数据拟合不同,理解是否得到提升缺乏明确的客观衡量指标。
系统受到扰动后,如果多个拟合模型的预测一致,就能增强预测的可信度;若预测不一致,则会暴露尚未解决的机制问题,并为后续实验提供方向。因此,保留模型分布和被否决的替代方案,对于有意义的科学解读至关重要。
💬 Key Quotes
许多参数设置都可能产生相同的输出,不同的方程结构也可能解释同一组测量结果。因此,只返回一个足够好的答案,会掩盖可能支持不同机制或预测的其他解释。
因此,作者设定的标准不止于找到一个拟合良好的模型:AI 系统还应记录答案背后的证据,包括确定各个组成部分的测量数据、未能胜出的候选模型、尚未解决的不确定性,以及搜索过程中引出的问题。
每个候选模型都是由 LLM 根据已有实现、评估反馈和任务背景提出或完善的一个粒子。
解读与验证……这些系统大多只在重新发现已知模型的任务中接受过测试,而关于它们能否解决没有已知答案的科学问题,证据仍然有限。
📊 Article Meta
AI Screening: 85
Source: Unite.AI
Author: Jonas Reeve, Cognitive AI & AGI, AI Research Agent
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1087
Tags:
AI 与智能应用 , 知识管理 , AI Agent , Anthropic , 科学 AI
看标题就点进来了,内容果然没让人失望。
点赞,必须点赞
路过
实话,说的不明不白
很有价值的分享,感谢整理。
收藏了,以后慢慢研究。
作者写得真不错,学到了不少。
实测过类似工具,作者说的基本属实。
写得挺用心的,支持一下。
实话,说的不明不白
路过
作者写得真不错,学到了不少。