总参一千两百多亿,每次只叫醒五十来亿,它说这样能顶自家一万亿的旗舰

国产这边又放出一个混合推理的稀疏模型,数字挺有意思。

总参数一千二百四十亿,但每个token只激活五十一亿。对照它自家那个一万亿参数的旗舰,总参数是八分之一,激活参数是十二分之一,官方给的多数基准成绩说是打平甚至反超。

这个路线现在越来越明显了:不是把模型堆更大,而是把每次真正干活的那部分压到最小。对要在生产环境上量的团队来说,激活参数直接对应显存和吞吐,这笔账比总参数实在得多。

当然基准归基准,实际业务上的长上下文和工具调用稳不稳,得自己压一遍才知道。

有人接进去跑过真实流量的吗,吞吐大概什么水平?

基准跑分我一律先打个对折