看到有人做了个十来分钟的动画讲混合专家架构，里面那个类比挺好使：公司里养着一百个专家，但每次开会只叫最相关的十几个来。
这就解释了那个反直觉的现象——为什么参数量报出来吓死人，实际推理成本却没跟着爆炸。总参数是你养的人头数，每次激活的才是你真正付工资的那批。
这套架构真正难的地方也在这个比喻里：谁来决定叫哪十几个。那个路由决定了每次开会靠不靠谱，叫错人整场就废了。所以这类模型偶尔会出现同样的问题问两遍，一次靠谱一次离谱。
下次再看到有人拿总参数量吹，你就问他每次激活多少。
显存还是要按总参数备 别高兴太早
科普做成动画确实比论文好啃
问他激活多少 这招好使
对 省的是算力不是显存