字节跳动发布 3D 生成大模型 Seed3D 2.0,在几何 / 纹理材质生成上取得 SOTA

4 月 23 日消息,字节跳动今日正式发布更高精度的新一代 3D 生成大模型 —— Seed3D 2.0,目前 Seed3D 2.0 技术报告已公开,API 也已上线火山引擎。

字节跳动表示,在与现有 3D 生成模型的对比评测中,Seed3D 2.0 在几何生成、纹理材质生成两项核心指标上均取得 SOTA 结果(指在某项具体任务或基准测试中表现最优的模型或方法)。模型对复杂结构的还原更加精细,PBR 材质的生成也具有更强的真实感和稳定性。

▲ 几何生成维度的定性对比

字节跳动招募了 60 位具有 3D 建模经验的人类打分员,对 Seed3D 2.0 和六个主流模型的生成质量进行两两盲评对比。

▲ 评估分为纯几何结构生成对比和带有纹理贴图的 3D 生成两部分

Seed3D 2.0 在几何形状生成的对比测试中展现出显著优势,相比所有其他 3D 生成模型呈现更高的偏好率(人类打分员认为其生成质量更优的比例),验证了架构创新带来的几何质量提升。

在纹理 3D 内容生成的人类打分中,Seed3D 2.0 同样领先其他基线方法,面对目前行业内主流模型,Seed3D 2.0 的偏好率达到 69% 以上。

附技术报告概述如下:

Seed3D 2.0 引入 Coarse-to-Fine 两阶段生成策略,把“整体结构”和“几何细节”解耦,分开优化,从而在锐利边缘、薄壁结构和复杂拓扑等几何生成难点上取得突破。

▲ Seed3D 2.0 几何生成的完整流程

同时,Seed3D 2.0 采用统一的 PBR 生成模型联合建模完整 PBR 贴图,使用 MoE 架构提升高分辨率材质细节与边界精度,并且引入 VLM 先验,增强未知光照下的材质分解稳定性与准确性。

▲ Seed3D 2.0 的纹理生成流程

在几何与纹理之外,Seed3D 2.0 能完成部件级分割与补全、铰接资产生成以及基于图像、视频或文本的场景组合生成,让生成式 3D 模型可应用于实际部署。

▲ Seed3D 2.0 的仿真场景生成流程

所以以后自己也能做游戏建模了是吧,终于不用天天加班给策划改需求了,等API开放申请了必须第一个试试,之前用一些开源的模型搞出来的东西简直不能看,边缘各种破碎。

小白问一下,PBR材质生成具体啥意思?是不是能直接生成游戏里用的那种带金属度粗糙度贴图的模型啊?不太确定这个和之前那些纯几何生成的模型比区别有多大。

他们这个技术报告里提到的Coarse-to-Fine两阶段策略,跟之前NeRF-based的方法具体差异在哪?感觉流程图上那个中间体生成那一步没太看明白,还有他们用的那个VLM先验具体是哪个模型,有具体信息吗?

没用过别碰,等开源再说。

这东西就那样,字节的东西,懂得都懂。等真能无缝集成到Blender或者UE里再吹吧,现在光有API有啥用,流程对接又是一大堆坑。

Coarse-to-Fine两阶段策略和NeRF是不同思路

API开放再说,光有报告流程对接坑多