LLM 直接编辑小模型的权重,使其数学成绩提升 6 倍

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-05757 阅读💛 223 收藏
LLM 直接编辑小模型的权重,使其数学成绩提升 6 倍

📌 One-Sentence Summary

前沿 LLM GPT-6 Astra 直接编辑了 Qwen3.5-0.8B 的 0.016% 权重,以修复循环问题,使其 MATH-500 准确率从 7.9% 提升至 48.1%,且全程无需训练。

📝 Summary

本文介绍了前沿 LLM GPT-6 Astra 如何通过直接编辑小型语言模型的权重,在不进行训练的情况下实现权重空间编程。GPT-6 Astra 找到并移除了 Qwen3.5-0.8B 第 15 层和第 19 层 MLP 模块中的特定模式,该模式会导致模型在数学推理时陷入无限循环。通过从 131,072 个权重中减去这一方向(占模型权重的 0.016%),模型在 MATH-500 上的准确率从 7.9% 跃升至 48.1%;此前有 93% 的答案会触及 32,768-token 上限,而现在这些答案都能顺利完成。这项技术还提升了 GSM8K(从 13.8% 提升至 67.1%)和 IFEval(从 21.0% 提升至 62.3%)的成绩。作者指出,这只是「火花」,还谈不上成熟能力;而且该方法未能提升 Gemma 3 270M 的表现,因为后者不存在同样的循环问题。

💡 Main Points

前沿 LLM 无需训练即可直接编辑神经网络权重

GPT-6 Astra 展示了权重空间编程:它读取 Qwen3.5-0.8B 的权重,找出有问题的模式,并直接修改 131,072 个参数,使数学准确率提升 6 倍,且无需梯度下降或微调。

主要提升来自修复 Qwen3.5-0.8B 中已知的循环问题

基础模型有 93% 的 MATH-500 答案会因陷入无限循环而触及 token 上限。此次权重编辑移除了第 15 层和第 19 层 MLP 中促使模型重复输出的特定方向,使模型能够完成原本就有能力计算的答案。

权重空间编程还可用于修复和创建神经网络

GPT-6 Astra 成功从原始权重中读取游戏网络,通过编辑 3.5% 的权重修复了一种卡住的 Kinetix 汽车坡道策略,使其成功率达到 100%;它还编写了新的 MinAtar 网络,表现优于训练步数为 100M 和 500M 的 PPO 智能体。

这项技术有明确局限,并非普遍适用

Gemma 3 270M 几乎不会陷入循环,因此性能没有提升。这表明权重编辑只能移除障碍,无法赋予模型原本缺失的能力。该方法仍处于实验阶段,目前只在一个前沿 LLM 上进行过测试,相关结果也以博客文章而非同行评审研究的形式发表。

💬 Key Quotes

只需编辑一个小型语言模型 0.016% 的权重,就能让它的数学成绩从 7.9% 提升至 48.1%。无需训练,也无需梯度:前沿 LLM GPT-6 Astra 直接读取权重,并写入修复方案。

MIT CSAIL 的研究人员将此称为权重空间编程:通用 LLM 根据自然语言规格,在没有优化器和梯度下降的情况下读取并写入神经网络的权重。

编辑权重可以移除遮蔽某种能力的障碍,却无法为模型添加它原本不具备的能力。

训练一直是间接写入权重的方式,而他们的初步结果表明,前沿模型可以直接写入权重。

📊 Article Meta

AI Screening: 88

Source: DEV Community: machinelearning

Author: Dan Lumatic

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1257

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , AI Agent , 大语言模型 (LLM)

#AI 与智能应用# 模型训练与推理# AI 工程# AI Agent# 大语言模型 (LLM)

文章评论(12)

暮临风10 天前

有没有更详细的教程,期待后续。

回复
蓝归舟10 天前

讲解得很细致,新手也能看懂。

回复
墨沐雨10 天前

路过

回复
空向阳10 天前

不错不错,已加入书签。

回复
逐光而行10 天前

讲解得很细致,新手也能看懂。

回复
松听风10 天前

内容翔实,正好需要,先收藏再看。

回复
崔欣怡10 天前

赞同,实践出真知。

回复
风拾光10 天前

实测过类似工具,作者说的基本属实。

回复
竹听风10 天前

很有价值的分享,感谢整理。

回复
龙文博10 天前

这个比较实用,已转发给同事。

回复
松听风10 天前

路过

回复
一叶知秋10 天前

这个比较实用,已转发给同事。

回复