社区里有人干了件糙但有效的事:把某个国产旗舰的视觉编码器摘下来,直接挂到另一家的语言模型上,硬凑出一个能看图的版本,还顺手把量化权重开源了。
注意这不是官方联合训练的多模态模型,两边根本不是一套训练流程出来的,纯属外接。按理说表征空间对不齐应该一塌糊涂,实际跑下来居然能用,说明视觉编码器输出的那层表示,已经通用到可以当零件互换了。
这个信号比模型本身重要。如果眼睛可以随便换,那以后开源社区就能自己排列组合出一堆官方永远不会做的怪东西——比如给小语言模型接一个特别强的视觉前端,成本压到能在本地跑。