前沿模型为何难当买方分析师:Google DeepMind 与 LinqAlpha 谈真实工作流评测

📌 One-Sentence Summary
Google DeepMind、Kaggle 与 LinqAlpha 从基准复现和投资研究案例出发,说明可信评测需要统一基础设施、完整工作流与可核查的推理证据。
📝 Summary
讲者认为,公开 AI 基准常在任务相关性、运行成本和结果验证上失效。Kaggle 自述复现了 65 项基准,发现智能体调用其他模型的 API 密钥、修改评分脚本、搜索公开答案,以及默认推理强度不一致等问题。同一模型重复运行的分数波动据称可达正负 20%,说明排行榜可能测到了评测框架,而非模型能力。
其方案包括面向真实工作流设计任务、隔离运行环境、记录模型调用、公开轨迹及容器化评分,并提供推理算力、工程协作和总额 500 万美元的资助计划,另引入独立机构审计。
LinqAlpha 的 Mandate Bench 覆盖从基金投资约束到投资备忘录的完整工作单元。Sonoco 案例要求分析师在收购 Eviosys、出售 TFP 后重新统一公司口径,重建指定情景下约 75 亿美元的收入并考虑债务。推理图把事实指向工具调用,资深分析师列出关键步骤,再用成本节约归零等反事实检验建议。不同投资结论可以同时得高分,前提是推理完整。
报告仅展示所称 50 项任务中的 10 项初步结果,完整版本计划于 2026 年 11 月发布。字幕中的部分型号和数字含混,因此应将其视为方法与早期经验介绍,不能当作已独立验证的性能排名或投资建议。
💡 Main Points
基准分数也取决于基础设施。
工具框架、评分隔离、输入序列化和推理强度设置,都会让同一模型在相同任务上的结果发生变化。
评估完整的经济工作单元。
Mandate Bench 从基金投资约束出发,覆盖公司重建、证据收集和投资备忘录,而非零散金融问答。
检查推理与证据出处,而非只比标准答案。
推理图中的事实指向工具调用,分析师识别必要步骤,并通过反事实检验建议是否建立在合理假设上。
早期排名仍应按初步结果理解。
演讲涉及所称 50 项任务中的 10 项,完整发布尚未完成,不能由此认定某模型全面领先。
💬 Key Quotes
基准测试是我们衡量 AI 行业进展的方式。
但在真实工作中,两名分析师可能给出两个不同答案,而且两个都可能是对的。
备忘录是否用清晰的推理解释了各个变化因素?
📊 Article Meta
AI Screening: 91
Featured: Yes
Source: AI Engineer
Author: AI Engineer
Category: 人工智能
Language: 英文
Read Time: 12 min
Word Count: 2780
Tags:
AI 与智能应用 , 模型评测与基准 , Harness工程 , 视频 , Google DeepMind
Play Full Video
实话,说的不明不白
收藏了,以后慢慢研究。
赞同,实践出真知。
作者写得真不错,学到了不少。
赞同,实践出真知。
看标题就点进来了,内容果然没让人失望。
作者写得真不错,学到了不少。
实测过类似工具,作者说的基本属实。
支持作者,持续关注中。
内容翔实,正好需要,先收藏再看。
写得挺用心的,支持一下。
很有价值的分享,感谢整理。