现在做长上下文推理,主流思路是在奖励上使劲堆,各种精巧设计。国内一个团队联合高校给了个反例:奖励那块用最朴素的一套,力气全花在数据配方上——把长文推理拆成检索、多证据合成、推理三种能力,按能力配了八个数据集,总共才一万四千条左右。跑在三个不同规模的底座上,七个长上下文基准平均提升七点二、三点二和六点四,小模型受益最明显。一万四千条数据能干这个,那我们过去堆的那些复杂机制,到底有多少是必要的?
现在做长上下文推理,主流思路是在奖励上使劲堆,各种精巧设计。国内一个团队联合高校给了个反例:奖励那块用最朴素的一套,力气全花在数据配方上——把长文推理拆成检索、多证据合成、推理三种能力,按能力配了八个数据集,总共才一万四千条左右。跑在三个不同规模的底座上,七个长上下文基准平均提升七点二、三点二和六点四,小模型受益最明显。一万四千条数据能干这个,那我们过去堆的那些复杂机制,到底有多少是必要的?