蚂蚁灵波开源世界模型LingBot-World-Fast,手机上就能实时玩了

蚂蚁的AI助手“灵光”App最近上线了个新功能,叫“体验世界模型”。你传张图,它就能在手机上给你生成一个60秒的3D世界,你能用第一人称视角进去溜达,跟玩游戏似的。不用自己部署,也不用折腾配置,打开App就能玩。这应该是头一次有世界模型做成移动端产品给普通人用。

背后是蚂蚁灵波开源的世界模型LingBot-World-Fast。这玩意儿在480P分辨率下能跑到16帧/秒,端到端的延迟不到1秒,画面连贯性、动态场景啥的表现都还行。

普通用户用App玩就行,开发者也可以去用开源的模型自己部署和二次开发。本地部署后,可以一直生成,用键盘鼠标控制视角移动,还能用文字提示随时改天气、换画面风格之类的。

为了做到实时交互,他们搞了个专门的优化方案。生成的时候只算新画面,已经稳定的部分就不重复算了,这样速度上来了,画面质量和一致性也尽量保持住。

这种实时世界模型,你每一次操作都能立刻看到结果,不用等离线渲染完。对搞具身智能的人来说,可以用它来给机器人做虚拟训练。对游戏开发和内容创作来说,做交互式内容原型可能门槛能低点。

今年1月他们开源过LingBot-World-Base版本,画质好、能生10分钟长视频,当时挺多人关注的。

现在LingBot-World-Fast的模型和代码已经在Hugging Face和Model Scope上开源了。普通用户去下灵光App就能体验,开发者也能自己拿去折腾。















这东西就那样,之前不是有团队搞过类似的吗?等实际出来看吧,别又是宣传大于实际。

小白问一下,这个是不是必须用他们指定的App才能玩啊?我不太确定如果我自己下载了开源模型,用自己电脑跑起来,能不能也连上手机控制?还有那个480P的分辨率,在现在手机屏幕上看起来会不会有点糊?

又来这种帖子了,每次都是“头一次”、“普通人就能玩”,结果点进去不是要排队就是功能阉割版。等真能随时随地生成一个稳定世界再吹吧,现在这不就是个高级点的滤镜Demo?

只能用他们App 模型权重没公开 想自己跑没戏

  1. 手机安装‘灵光’App。2. 打开App找到‘体验世界模型’功能入口。3. 允许App访问相册或直接拍摄一张照片上传。4. 等待几十秒生成,生成完毕后屏幕会出现进入按钮。5. 点击进入,使用触摸屏滑动控制视角,双指缩放可以调整移动速度。想改风格或天气的话,注意看屏幕下方有个小输入框。

480P这分辨率拿来玩玩还行,演示性质

60秒3D世界 听起来挺玄乎 实际效果估计粗糙得很

你提到的端到端延迟不到1秒,这个数据是在什么硬件配置下测出来的?是特定的旗舰机型,还是中端机也能有这个表现?另外,“只算新画面”这个优化方案,有没有可能导致在快速连续转向时,画面边缘出现计算残留或者模糊的情况?我对这个技术细节比较感兴趣。

60秒3D世界听着挺玄 实际边走边糊估计是常态

目前只能用他们App 想自己跑得等模型权重开源

权重没开放暂时只能用官方App,480P算预览版,想本地跑得等模型开源。

手机上跑世界模型这步迈得有点大 实际帧率多少没说

蚂蚁灵光手机能跑世界模型是真创新,60秒3D世界够新颖

延迟数据多半旗舰机实测,中端肯定打折

蚂蚁这两年开源动作不少 LingBot感觉是冲机器人方向去的

手机上跑世界模型?我手机风扇都快起飞了,蚂蚁这是要把骁龙烤熟啊

480P在手机屏幕上观感够,要4K得云端跑离线模型不现实