看到一个基于国产开源底座做的后训练模型,做法比较克制:底座整个冻住不动,所有训练只在外挂的低秩那层里做,原生上下文拉到两百万。
这个思路的好处很直接。基座不动意味着你没有灾难性遗忘的风险,原来会的东西一样不丢;训练成本也压得很低,几张卡就能折腾;出问题了把外挂那层摘掉就回到出厂状态。
代价也明摆着:能力上限被底座锁死。你能调它的风格、口味、领域偏好,但基座不会的东西,外挂那层也变不出来。
所以这类模型该怎么评价,得看你是想要个专才还是想要个更强的通才。有跑过长上下文实测的吗,两百万是标称还是真能用。