MIT神作被锤:Astra爆改Qwen权重?就吹吧!

王者归来已是老翁行业资讯📡 量子位2026-11-05977 阅读💛 241 收藏
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

MIT神作被锤:Astra爆改Qwen权重?就吹吧!

spaCy作者长文炮轰

Jay 发自 凹非寺
量子位 | 公众号 QbitAI

Astra修改小模型权重?MIT那篇爆火研究,被大佬公开质疑了。

Astra前两天刚刚凭借一项惊人能力刷屏AI圈——不用训练、不算梯度,直接修改另一个AI模型的权重。

MIT团队宣称,Astra仅修改Qwen3.5-0.8B的0.016%权重,就让数学成绩从7.9%暴涨至48.1%,相当于提升到原来的6倍多。

甚至有网友感慨:AI已经开始读懂另一个AI的大脑了。

然而,事情似乎出现了反转。

一位来头不小的圈内大佬公开发文,提出了质疑。

这项研究存在严重误导。

质疑者叫Matthew Honnibal,spaCy的作者、AI公司Explosion的联合创始人。

魔术师戏法

这背后到底发生了什么?

Honnibal用了一个很妙的比方,讽刺了MIT研究所做的事:障眼法。

舞台魔术师常常用多种方式来表演同一个戏法。

第一次,他可能用了一个特殊的道具;下一次,他会向你展示道具并无特殊,但他自己藏起了东西;第三次,可能又利用了某种强迫选择。

当你观看表演时,你会假设只有一种技术,所以每当魔术师表演一次,似乎都推翻了你对其工作原理的假设。

Honnibal认为,Astra这项研究的实验呈现,就酷似这样一场魔术。

回到Paper,原文其实展示了三项不同的能力:

  1. 读权重:只看原始的权重数字,就能识别一个小型神经网络正在执行什么任务。
  2. 写权重:不依赖环境反馈,从零开始直接生成或修改小型网络的参数,让它能玩《打砖块》之类的小游戏。
  3. 修复大模型:通过修改Qwen的部分权重,大幅提高其数学测试表现。

但这篇论文摘要给人的核心印象却是——

Astra「仅通过观察原始权重」,就能理解并修改另一个模型。

如果只是一眼扫过,很难不让人理解为:

无论是识别一个小型网络的功能,还是修复一个大语言模型的数学能力,都源于同一种「读脑」神技。

但,这是真的吗?

Honnibal仔细梳理了论文中的8组实验后发现:实现这三件事的实验条件,天差地别。

也就是说——

纯纯是在偷换概念。

两种技术路径

那么不同实验之间,到底有什么猫腻?

首先,在识别小型网络任务、修复一个卡住的赛车模型等实验中,Astra确实做到了「只看原始权重」。

因为实验条件非常苛刻:

  • 直接将权重数字(raw floats)作为输入,放进Astra的上下文。
  • 不允许Astra运行Python代码。
  • 不允许Astra执行目标网络来观察其行为。

在这种模式下,Astra处理的模型参数规模都非常小,在1.7万到17.2万之间。这确实很了不起,但距离真正理解一个现代大语言模型,还有很长的路。

但到了最引人注目、也最令人振奋的Qwen数学能力修复实验,就完全不是这么回事儿了。

在修复8亿参数的Qwen模型时,Astra并没有直接读取原始权重。

取而代之的是,Astra被授权使用Python编程,并且最多可以进行50次前向测试。每次允许模型处理一批练习题,通过观察模型的表现来分析和修改权重。

这根本是两码事。。。

Honnibal一针见血地指出,将这两种方法打包在一起,很容易让读者误以为:

噢,那种在小模型上实现的「读脑术」,同样可以规模化地应用在8亿参数的大模型上。

但事实是,在处理真正的大语言模型时,Astra更像一个「场外教练」,需要通过编程、运行、观察等一系列工程手段来介入。

真正的价值

那么,这是否意味着MIT的研究毫无价值?

当然不是。

必须承认,即使剥离了「读心术」的光环,Astra所展现的能力依旧非常了不起。

Honnibal也坦言,让一个AI模型被提示去设计并执行人类机器学习工程师才能完成的任务——编写代码片段来分析甚至直接修改网络权重——这本身就是一个巨大的进步。

一两年前的AI模型,在所有这些任务上都会失败。

这说明,今天的顶尖大模型,已经具备了相当复杂的工具使用和推理能力,能够作为一个「AI工程师」来诊断和修复其他模型。这本身就是一项值得关注的工程突破。

真正的问题,在于成果的呈现方式。

将两种截然不同的能力,模糊地包装成一种统一的、能够读写AI大脑的「超能力」。

说实话,乍一听还以为是A社做的事。。。

也侧面反映了如今AI圈的Hype狂潮吧。

原文:

 

 

版权所有,未经授权不得以任何形式转载及使用,违者必究。
MIT
Jay
  • Linux内核被挖出948个漏洞!OpenAI花120万美元找到的2026-11-05
  • 纯语音Personal Agent来了!或许,这就是乔布斯心中的Siri2026-11-03
  • 清华姚期智团队新作:代数世界模型,让AI像牛顿一样思考2026-11-01
  • 老牌便利店机器人售货折戟:实验室锤炼上万次,货架前还是摔瓶子2026-11-01

相关阅读

文章评论(12)

月沐雨10 天前

刚好最近在找这方面的资料,太及时了。

回复
暮拾贝10 天前

看标题就点进来了,内容果然没让人失望。

回复
蓝临风10 天前

讲解得很细致,新手也能看懂。

回复
拾贝者10 天前

很有价值的分享,感谢整理。

回复
邱文博10 天前

看标题就点进来了,内容果然没让人失望。

回复
星知秋10 天前

支持作者,持续关注中。

回复
逐光而行10 天前

赞同,实践出真知。

回复
星观澜10 天前

看标题就点进来了,内容果然没让人失望。

回复
石佳琪10 天前

实话,说的不明不白

回复
石佳琪10 天前

支持作者,持续关注中。

回复
星知秋10 天前

楼主辛苦了,内容很有参考价值。

回复
墨向阳10 天前

这个比较实用,已转发给同事。

回复