看到一个合并请求，给常用的那个本地推理框架加上了腾讯Hy3的支持。参数是近三百B的稀疏专家结构，八十层，另外还多挂了一层专门做多token预测的头。
有意思的是那个多token预测头的用法。一般玩投机解码得另外备一个小模型当草稿手，猜完再让大模型验。这次直接把模型自带的那个预测头当草稿手用，等于自己给自己打草稿，省掉了外挂小模型那一整套麻烦事。
当然三百B的稀疏结构，普通人本地是别想了，就算专家激活得少，权重也得全塞进去。这更像是给有机器的人开条路。
有条件跑起来的兄弟没，实际速度什么水平
必须冲 先看看量化版出不出
三百B 我这内存条先哭为敬
能干活就行 反正我也跑不动
有benchmark吗 加了预测头快多少
激活得少 但你还是得全放进去 逃不掉
国产模型能进主流框架是好事
这波是给土豪修路 我们围观
自己给自己打草稿 这个描述到位
专家结构本地跑就是内存杀手
没看到数 一般这套能有个一点几倍