新算法诞生:用2D图像中做出优质3D模型

技术前沿

图片来源:Microsoft

近日,研究人员写出了新算法,能快速将2D数据按比例转换为3D图像。

微软研究人员称,他们已经做出了一个AI系统,能利用2D图像转换出效果更优的3D模型。该系统首次使用了Unreal Engine和Unity等现成的仿真图像渲染技术,让动画内容制作更便宜高效。

虽然生成对抗网络(GANS)已经能够生成效果不错的2D图像数据,但是很多视觉应用需要的不仅是图像,还需要输入3D模型。

训练数据

如果直接扩展现有的GAN模型,研究人员需要3D训练数据,但这类数据很昂贵。所以,研究人员开始搭建一个AI系统,让它只通过2D图像数据训练来学习如何生成3D模型,这样的应用范围更广,也更省钱,而且容易上手。

专业人士解释,在实验中,研究团队为生成器使用了3D卷积GAN架构。研究人员利用3D模型和现实数据创建了合成数据集,在不同角度进行渲染,生成了不同物体的合成图像。

研究人员也使用了曝光和阴影信息,让渲染引擎生成浴缸、沙发等高质量的凸起形状,解决之前同类技术未能解决的难题。

理论上,该技术能应用在更多复杂的图像渲染引擎上,学习更具细节的3D信息。

最后,研究人员总结道:“我们的模型已经结合了色彩、材质和光线预测功能,希望能让机器接触更多真实世界的数据组。”(T)

views
技术前沿
Assimilate产品套装v9.7 1152版更新

友情提示:确保在升级前备份您的项目

官方活动
NAB2024 | 尊正 × Assimilate Live FX —— 基于图像的照明展示(IBL)

我们特别开展了一个NAB独家教育项目:HDR Lab —— 不仅有资深调色师与杜比专家亲临讲解,还为参观者提供了亲自上手

官方活动
NAB2024 虚拟制作展示,Assimilate Live FX 大放异彩

2024年NAB展已于2024年4月14日在美国拉斯维加斯开始,活动将继续至4月17日。 Assim …