把一家的眼睛缝到另一家的脑子上,居然真能用

社区里有人干了件糙但有效的事:把某个国产旗舰的视觉编码器摘下来,直接挂到另一家的语言模型上,硬凑出一个能看图的版本,还顺手把量化权重开源了。

注意这不是官方联合训练的多模态模型,两边根本不是一套训练流程出来的,纯属外接。按理说表征空间对不齐应该一塌糊涂,实际跑下来居然能用,说明视觉编码器输出的那层表示,已经通用到可以当零件互换了。

这个信号比模型本身重要。如果眼睛可以随便换,那以后开源社区就能自己排列组合出一堆官方永远不会做的怪东西——比如给小语言模型接一个特别强的视觉前端,成本压到能在本地跑。

能用到什么程度 通用问答还是只能识图

量化权重开了 这才是良心

零件互换 这个比喻贴切