面壁新出的MiniCPM-V 4.7 35B-A3B 激活才3B 有人说手机上能跑 真的假的

面壁智能OpenBMB开源了MiniCPM-V 4.7系列,两个型号:35B-A3B的MoE和一个1B的小家伙。外网已经有人在聊35B这个能不能塞进iPhone跑了。

算一下:总参35B,每次只激活3B,量化到4bit权重也得十几个G,手机内存肯定扛不住全量加载,大概率得靠从闪存按需读专家。能跑起来可能是真的,但速度多少就另说了。

1B那个反而更实在,拿来做端侧OCR、截图理解、相册搜索这类活应该够。

有谁已经在本地拉下来试了?想知道35B-A3B在一张24G卡上看图表、读长截图的效果,跟Qwen那几个同级VL比怎么样。

1B那个拿来做截图OCR挺合适

激活3B 推理是快 但显存还是按35B算

有GGUF了吗 等ollama上架

国产开源多模态现在卷得飞起 好事

手机跑35B 估计是一秒一个字那种能跑

哈哈 能跑和能用是两回事

面壁这几代端侧一直做得扎实 支持一下

24G卡q4应该能全塞 看图速度应该不慢

激活3B不代表内存够 35B权重光加载就得十几G

对 显存还是吃满的 手机上跑就别想了

对,MoE省的是算力不是显存,手机上跑够呛