腾讯开源手机离线翻译模型,0.4G支持33种语言

腾讯混元开了个手机端离线翻译模型,Hy-MT1.5-1.8B-1.25bit,大小只有440MB。

不用联网,下完就能在手机本地跑,说是翻译质量比谷歌翻译还好。

这模型是基于他们自家的混元翻译大模型Hy-mt1.5搞的,原生支持33种语言,还有5种方言/民汉,总共1056个翻译方向。从常见的中英日法,到阿拉伯语、俄语,甚至藏语、蒙古语都能翻。
才1.8B参数,效果据说能比肩商业翻译API和那些235B的大家伙。评测说比谷歌翻译这些主流系统都强。

实际用的时候发现,原来的1.8B模型,就算是FP16精度也得占3.3GB内存,对手机来说还是太大太慢了,所以做了量化压缩。
量化就是把模型里原来用16位数字存的参数,换成更低位的存,相当于把高清图压成缩略图,文件小了但东西还能看清。他们这次搞了2-bit和1.25-bit两种压缩方案。

除了开源模型权重,还搞了个「腾讯混元翻译Demo版」,支持后台取词。看邮件、刷网页的时候能随时调出来翻译。不用网,不订阅,完全本地处理,不传个人信息,一次下载永久用。

这模型之前在国际比赛里拿过30个第一,在腾讯内部好些业务里也用上了,像元宝、腾讯会议、企业微信、QQ浏览器这些。
体验链接:
Huggingface(海外用户) :
https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/resolve/main/Hy-MT-demo.apk
魔搭社区(国内用户):
https://modelscope.cn/models/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/resolve/master/Hy-MT-demo.apk

这东西真有用?我反正不信,没谷歌稳。

1.25bit量化能压到440MB确实牛,端侧场景刚需

谷歌稳是云端方案,离线场景没法替代