Gemma 4 12B到来,官方表示16g显存就能跑!

Gemma 4 12B——谷歌最新的开源模型,它将先进的智能推理、视觉和音频功能直接带到您的笔记本电脑上。它以更小的内存占用实现了接近更大型 Gemma 模型的性能,并且体积小巧,仅需 16GB 显存即可在本地运行。它采用宽松的 Apache 2.0 许可证,任何人都可以免费使用。这一切都得益于谷歌全新的统一架构,该架构摒弃了独立的多模态编码器。

16g显存不需要量化,直接运行。

来源地址:
https://x.com/Google/status/2062203526588088452

https://x.com/ed_the_engineer/status/2062223988806308276?s=20

感觉没必要本地部署吧

16g就能跑这点很香,终于不用为显存发愁了

十六g就能跑确实香,就是不知道量化后掉多少分