阿里千问新发了一个在线强化学习框架QwenGyre,目标很明确:训练超长程的智能体任务,一个任务持续几小时、几百轮交互、累计上百万token那种。
几个设计点我理了一下:
1、弹性调度,把GPU拆成更细的计算单元,一批任务跑完立刻转去训练,不用等最慢那个
2、Token-in Token-out的轨迹树,保留每一步的原始token,避免重新分词带来的偏差
3、Partial Scoring,任务只完成一半也能拿来打分学习,不是非黑即白
第三点我觉得最实用。长任务很少能一口气做完,以前做不完就整条扔掉,太浪费了。
这类框架开不开源才是关键,有人知道仓库放出来没