Meta 3D Gen发布,1分钟内从文本生成3D资产

来源:互联网· 2024-07-03 09:44:18

近日,研究人员发布了一项名为 Meta3D Gen(3DGen)的全新、快速的文本生成3D 模型的技术,3DGen 通过高效的方式创建3D 模型,具有高质量的纹理和材质,为用户带来了全新的体验。Meta3D Gen集成了Meta3D AssetGen和Meta3DTextureGen两大核心技术。

image.png

Meta3D AssetGen

其中,Meta3D AssetGen(AssetGen)是一项在文本生成3D 领域的重大突破,可实现高质量3D资产生成,仅需不到1分钟。AssetGen 生成了基于物理渲染(PBR)材质,实现真实光照效果强大的文本到3D和文本到纹理生成能力。

AssetGen 首先生成对象的几个视图,包括阴影和反射通道的外观信息,然后在3D 空间中重建颜色、金属度和粗糙度,使用延迟着色损失进行高效监督。它还使用符号距离函数更可靠地表示3D 形状,并引入相应的损失进行直接形状监督。为了提高内存效率,该方法使用了融合的卷积核。在提取网格后,一种在 UV 空间中进行纹理细化的变换器显著提高了纹理的清晰度和细节。

与最佳竞争方法相比,AssetGen 在 Chamfer Distance 方面的改进达到了17%,在 LPIPS 方面的改进达到了40%;同时,在与同等速度的最佳行业竞争者的人类偏好测试中,获得了72% 的青睐。

项目页面链接:https://assetgen.github.io。

Meta3D TextureGen

研究人员还推出了 Meta3D TextureGen,这是一种新的前向方法,由两个连续网络组成,旨在在不到20秒的时间内为任意复杂程度的几何体生成高质量和全局一致的纹理。

该方法通过在2D 空间中将文本生成图像模型与3D 语义条件结合,并将它们融合成完整且高分辨率的 UV 纹理映射,实现了质量和速度方面的最新成果。

研究人员还引入了一种纹理增强网络,能够按任意比例放大任何纹理,生成4K 像素分辨率的纹理。

官方博客:https://ai.meta.com/research/publications/meta-3d-gen/

划重点:

- Meta3D Gen 发布,能够以高质量和高效率创建3D 模型,集成了Meta3D AssetGen和Meta3DTextureGen两大核心技术。

- AssetGen 支持生成基于物理渲染的材质,具有真实的再光照效果。

- Meta3D TextureGen 是一种快速生成高质量纹理的方法,可适用于任意复杂度的几何体。


您可能关注: Meta

[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表本站立场。