不训练不走梯度 让Astra直接改权重 MIT这篇有点魔幻

MIT CSAIL刚出的东西,叫权重空间编程。做法听着像开玩笑:让GPT-6 Astra直接读写Qwen3.5-0.8B的权重文件,没有梯度下降,也没有传统训练循环。

改动量是131072个权重,占比约0.016%,据称MATH-500成绩就上去了。

我的第一反应是这和调参有啥区别?第二反应是如果模型真能看懂另一个模型的权重,可解释性那帮人要么狂喜要么失业。

有懂行的说说,这是真有结构在里面,还是在小模型上碰巧撞出来的?

0.8B的小模型 放大到几百B还灵吗

有人在HN说DeepSeek也能干这事 坐等复现

这波是模型给模型做开颅手术了属于是

测试集上刷的还是真提升 得看泛化

要是真行 训练这门生意还怎么算账

别急 先看能不能在别的任务上复现

读得懂权重?我连自己写的代码都读不懂

格局打开 下一步就是自己改自己

这个规模改权重不就是高级版的打补丁吗