刷到Reflection开源了一个501B参数的MoE模型。501B啊兄弟们，总参数这个量级，就算MoE每次只激活一部分，权重也得全装进去。
算一下，FP8都要五百多G显存，量化到4bit也得两百五往上。个人玩家基本告别，只能等社区出蒸馏版或者各家API托管。
不过开源本身是好事，大尺寸权重放出来，研究的人能拆着看路由怎么做的。问题是现在开源大模型已经扎堆了，国产那几家一个比一个卷，Reflection这个能打出什么差异？有人去看了模型卡吗，激活参数多少、上下文多长、协议宽不宽松
等托管吧 自己部署电费都扛不住
先看协议 别又是那种商用要申请的
MoE开源最大价值是给研究的人看路由
有没有人跑过榜 光报参数量没意思
榜单等两天就有人刷出来了
这波啊 这波是开源给云厂商打工属于是了
501B 我的4090听了都想哭
501B的MoE，激活参数多少才是关键
家里两张3090想都别想，等量化吧