面壁智能OpenBMB开源了MiniCPM-V 4.7系列,两个型号:35B-A3B的MoE和一个1B的小家伙。外网已经有人在聊35B这个能不能塞进iPhone跑了。
算一下:总参35B,每次只激活3B,量化到4bit权重也得十几个G,手机内存肯定扛不住全量加载,大概率得靠从闪存按需读专家。能跑起来可能是真的,但速度多少就另说了。
1B那个反而更实在,拿来做端侧OCR、截图理解、相册搜索这类活应该够。
有谁已经在本地拉下来试了?想知道35B-A3B在一张24G卡上看图表、读长截图的效果,跟Qwen那几个同级VL比怎么样。