一个挺反直觉的发现：越是能推理的模型，喂给它的输入越长，就越容易养成大段照抄原文的习惯。抄这个动作本身看着无害，实际上两头亏——白白吃掉输出预算，还把无关内容拽进了推理链，答案跟着一起偏。有意思的是对照组：只挑关键那几行复制的，正确率是往上走的；整段整段搬的，正确率往下掉。研究者的解法是在强化学习的奖励里加一条证据感知，抄到点子上给奖励，抄废话就扣分，最后准确率最高提了四点六个百分点。四点六听着不多，但这是白捡的，改的是行为习惯不是模型规模
一长就开始复读 太真实了
抄原文是最省力的路，输入一长就特别明显
四点六 在这个阶段不算小了
不改规模只改奖励 这才叫工程