LLM 基准刷分的统计分析

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-1767 阅读💛 160 收藏
LLM 基准刷分的统计分析

📌 One-Sentence Summary

一项统计分析为 Epoch 能力指数加入了一个基准刷分系数,发现 Google 的模型在早于其发布的基准上得分高出约 1.4 个 ECI 点,这一效应虽小却持续存在,且通过了大多数稳健性检验。

📝 Summary

这篇文章检验了一个流行的指控:实验室在刷基准,即让模型过度拟合公开排行榜。作者的关键洞察是,在模型发布之后才推出的基准构成了天然的对照组:模型不可能针对其构建时尚不存在的基准进行调优。在 Epoch 能力指数的基础上——该指数同时估计每个模型的能力和每个基准的难度——作者加入了一个参数,即基准刷分系数 beta,它仅对早于模型发布的基准生效,并在实验室层面进行拟合。Google DeepMind 显示出最大的正系数,约为 1.41 个 ECI 点,而 OpenAI 的系数为负,Anthropic 的系数接近于零。该效应很小,低于 Epoch 对单个模型自身的不确定性,只有在跨数十个模型汇总数十个基准时才会显现。如果 Google 的全部 beta 都来自基准刷分,其 35 个模型平均将损失 1.3 个 ECI 点,发布表上的得分每个基准将下降 3 到 5 分。作者针对十五项质疑对拟合进行了压力测试;该模式在大多数质疑下依然成立,但替代解读包括随基准年龄变化的平滑曲线,以及在新近的智能体基准上的特定弱点。一项双胞胎分析比较了来自不同实验室、能力相当的模型,指向同一方向,但仍处于噪声范围内。

💡 Main Points

在模型发布之后才推出的基准,可作为检测基准刷分的天然对照组。

模型不可能针对其发布时尚不存在的基准进行调优,因此真实的能力差距应当在较旧和较新的基准上同等显现;在较旧基准上系统性占优,便是针对它们调优的证据。

在 Epoch 能力指数中加入单个实验室层面的基准刷分系数,会为 Google DeepMind 带来虽小却持续存在的正效应。

该系数对 Google 约为 1.41 个 ECI 点,对 OpenAI 为负,对 Anthropic 接近于零;它小于 Epoch 对任何单个模型的不确定性,只有在跨数十个模型汇总数十个基准后才会显现。

如果 Google 的全部系数都来自基准刷分,实际影响将是温和的。

Google 的 35 个模型平均将损失约 1.3 个 ECI 点,Gemini 4.0 Argon 将从第 4 名降至第 6 名,Gemini 3.8 Flash 将从第 20 名降至第 29 名,发布表上的得分每个基准将下降约 3 到 5 分,例如 DeepSWE v1.1 从 73.7 降至 69.3。

该结果通过了大多数稳健性检验,但仍存在替代解释。

随基准年龄变化的平滑曲线比在发布日期处的阶跃拟合得更好,且 Google 的模型在新近的智能体基准上比同行低约 3 个 ECI 点,这解释了它们在较新基准上的大部分下降,以及系数领先优势的约三分之一。

一项比较来自不同实验室、能力相当模型的双胞胎分析指向同一方向,但无法将效应与噪声区分开。

在 83 对能力相差 2 个 ECI 点以内、发布时间相隔 6 到 9 个月的 Google 与其他实验室配对中,Google 在较旧基准减去较新基准上的优势超出对照组 2.7 和 2.2 分,但标准误分别为 3.8 和 1.7,两者均未超过距零 1.3 个标准误。

💬 Key Quotes

主要前提很简单:模型不可能针对其发布时尚不存在的基准进行刷分。

基本上,β 是一个模型似乎拥有的能力加成,但仅限于早于它的基准上。

这一切都不能证明任何实验室在刷基准。这是一个拟合观测数据的统计模型,正的 β 与不止一种解释相容。

第二点是,尽管信号确实存在,但它并不很强:1.41 个 ECI 点,低于 Epoch 对任何单个模型得分给出的不确定性。

双胞胎分析与 β 指向同一方向;仅凭它们自身,无法将其与噪声区分开。

📊 Article Meta

AI Screening: 86

Source: Hacker News - Newest: "LLM"

Author: bhu8

Category: 人工智能

Language: 英文

Read Time: 13 min

Word Count: 3205

Tags:

AI 与智能应用 , 模型训练与推理 , 数据科学 , 模型发布 , 大语言模型 (LLM)

#AI 与智能应用# 模型训练与推理# 数据科学# 模型发布# 大语言模型 (LLM)

文章评论(12)

暮拾贝29 天前

支持作者,持续关注中。

回复
暮临风29 天前

思路清晰,干货满满。

回复
一叶知秋29 天前

有没有更详细的教程,期待后续。

回复
南山客29 天前

看完了,收获满满,期待更多更新。

回复
一叶知秋29 天前

赞同,实践出真知。

回复
拾贝者29 天前

实话,说的不明不白

回复
星寻梦29 天前

看标题就点进来了,内容果然没让人失望。

回复
星寻梦29 天前

作者写得真不错,学到了不少。

回复
空向阳29 天前

思路清晰,干货满满。

回复
雪知秋29 天前

有没有更详细的教程,期待后续。

回复
墨沐雨29 天前

刚好最近在找这方面的资料,太及时了。

回复
龙文博29 天前

赞同,实践出真知。

回复