底座冻住只训外挂那层,上下文还给你拉到两百万

看到一个基于国产开源底座做的后训练模型,做法比较克制:底座整个冻住不动,所有训练只在外挂的低秩那层里做,原生上下文拉到两百万。

这个思路的好处很直接。基座不动意味着你没有灾难性遗忘的风险,原来会的东西一样不丢;训练成本也压得很低,几张卡就能折腾;出问题了把外挂那层摘掉就回到出厂状态。

代价也明摆着:能力上限被底座锁死。你能调它的风格、口味、领域偏好,但基座不会的东西,外挂那层也变不出来。

所以这类模型该怎么评价,得看你是想要个专才还是想要个更强的通才。有跑过长上下文实测的吗,两百万是标称还是真能用。

摘掉就回出厂 这点工程上很香

上限被底座锁死 说得很清楚

专才路线我觉得更实在

标称和能用 从来是两回事