MIT CSAIL刚出的东西,叫权重空间编程。做法听着像开玩笑:让GPT-6 Astra直接读写Qwen3.5-0.8B的权重文件,没有梯度下降,也没有传统训练循环。
改动量是131072个权重,占比约0.016%,据称MATH-500成绩就上去了。
我的第一反应是这和调参有啥区别?第二反应是如果模型真能看懂另一个模型的权重,可解释性那帮人要么狂喜要么失业。
有懂行的说说,这是真有结构在里面,还是在小模型上碰巧撞出来的?
MIT CSAIL刚出的东西,叫权重空间编程。做法听着像开玩笑:让GPT-6 Astra直接读写Qwen3.5-0.8B的权重文件,没有梯度下降,也没有传统训练循环。
改动量是131072个权重,占比约0.016%,据称MATH-500成绩就上去了。
我的第一反应是这和调参有啥区别?第二反应是如果模型真能看懂另一个模型的权重,可解释性那帮人要么狂喜要么失业。
有懂行的说说,这是真有结构在里面,还是在小模型上碰巧撞出来的?
0.8B的小模型 放大到几百B还灵吗
有人在HN说DeepSeek也能干这事 坐等复现
这波是模型给模型做开颅手术了属于是
测试集上刷的还是真提升 得看泛化
要是真行 训练这门生意还怎么算账
别急 先看能不能在别的任务上复现
读得懂权重?我连自己写的代码都读不懂
格局打开 下一步就是自己改自己
这个规模改权重不就是高级版的打补丁吗