LLM 直接编辑小模型的权重,使其数学成绩提升 6 倍

📌 One-Sentence Summary
前沿 LLM GPT-6 Astra 直接编辑了 Qwen3.5-0.8B 的 0.016% 权重,以修复循环问题,使其 MATH-500 准确率从 7.9% 提升至 48.1%,且全程无需训练。
📝 Summary
本文介绍了前沿 LLM GPT-6 Astra 如何通过直接编辑小型语言模型的权重,在不进行训练的情况下实现权重空间编程。GPT-6 Astra 找到并移除了 Qwen3.5-0.8B 第 15 层和第 19 层 MLP 模块中的特定模式,该模式会导致模型在数学推理时陷入无限循环。通过从 131,072 个权重中减去这一方向(占模型权重的 0.016%),模型在 MATH-500 上的准确率从 7.9% 跃升至 48.1%;此前有 93% 的答案会触及 32,768-token 上限,而现在这些答案都能顺利完成。这项技术还提升了 GSM8K(从 13.8% 提升至 67.1%)和 IFEval(从 21.0% 提升至 62.3%)的成绩。作者指出,这只是「火花」,还谈不上成熟能力;而且该方法未能提升 Gemma 3 270M 的表现,因为后者不存在同样的循环问题。
💡 Main Points
前沿 LLM 无需训练即可直接编辑神经网络权重
GPT-6 Astra 展示了权重空间编程:它读取 Qwen3.5-0.8B 的权重,找出有问题的模式,并直接修改 131,072 个参数,使数学准确率提升 6 倍,且无需梯度下降或微调。
主要提升来自修复 Qwen3.5-0.8B 中已知的循环问题
基础模型有 93% 的 MATH-500 答案会因陷入无限循环而触及 token 上限。此次权重编辑移除了第 15 层和第 19 层 MLP 中促使模型重复输出的特定方向,使模型能够完成原本就有能力计算的答案。
权重空间编程还可用于修复和创建神经网络
GPT-6 Astra 成功从原始权重中读取游戏网络,通过编辑 3.5% 的权重修复了一种卡住的 Kinetix 汽车坡道策略,使其成功率达到 100%;它还编写了新的 MinAtar 网络,表现优于训练步数为 100M 和 500M 的 PPO 智能体。
这项技术有明确局限,并非普遍适用
Gemma 3 270M 几乎不会陷入循环,因此性能没有提升。这表明权重编辑只能移除障碍,无法赋予模型原本缺失的能力。该方法仍处于实验阶段,目前只在一个前沿 LLM 上进行过测试,相关结果也以博客文章而非同行评审研究的形式发表。
💬 Key Quotes
只需编辑一个小型语言模型 0.016% 的权重,就能让它的数学成绩从 7.9% 提升至 48.1%。无需训练,也无需梯度:前沿 LLM GPT-6 Astra 直接读取权重,并写入修复方案。
MIT CSAIL 的研究人员将此称为权重空间编程:通用 LLM 根据自然语言规格,在没有优化器和梯度下降的情况下读取并写入神经网络的权重。
编辑权重可以移除遮蔽某种能力的障碍,却无法为模型添加它原本不具备的能力。
训练一直是间接写入权重的方式,而他们的初步结果表明,前沿模型可以直接写入权重。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: Dan Lumatic
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1257
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , AI Agent , 大语言模型 (LLM)
有没有更详细的教程,期待后续。
讲解得很细致,新手也能看懂。
路过
不错不错,已加入书签。
讲解得很细致,新手也能看懂。
内容翔实,正好需要,先收藏再看。
赞同,实践出真知。
实测过类似工具,作者说的基本属实。
很有价值的分享,感谢整理。
这个比较实用,已转发给同事。
路过
这个比较实用,已转发给同事。