混元刚放出来一个同声传译模型Hy-SimulMT,开源,中英语音到语音实时翻,还带实时音色克隆,就是翻出来的声音像你本人。
官方说实测延迟3秒上下,专业同传一般是4到5秒,这点倒是挺能打。权重已经放到Hugging Face了。
我好奇的点有两个:1、本地要多大显存才跑得动实时 2、音色克隆这个功能开源出来,诈骗电话会不会又多一种玩法。
有没有拉下来跑过的,讲座、会议这种长场景稳不稳
混元刚放出来一个同声传译模型Hy-SimulMT,开源,中英语音到语音实时翻,还带实时音色克隆,就是翻出来的声音像你本人。
官方说实测延迟3秒上下,专业同传一般是4到5秒,这点倒是挺能打。权重已经放到Hugging Face了。
我好奇的点有两个:1、本地要多大显存才跑得动实时 2、音色克隆这个功能开源出来,诈骗电话会不会又多一种玩法。
有没有拉下来跑过的,讲座、会议这种长场景稳不稳
三秒延迟 线上开会够用了
音色克隆开源 反诈中心要加班了
之前用Gemini同传 数字老吞 看这个会不会好点
有没有显存要求 4090能不能实时
还没看到官方数 等有人跑
国产开源这块是真卷 好事
只有中英吗 日语要是有就好了
看参数量4090应该能跑,就怕音色克隆那块吃显存