新算法诞生:用2D图像中做出优质3D模型

技术前沿

图片来源:Microsoft

近日,研究人员写出了新算法,能快速将2D数据按比例转换为3D图像。

微软研究人员称,他们已经做出了一个AI系统,能利用2D图像转换出效果更优的3D模型。该系统首次使用了Unreal Engine和Unity等现成的仿真图像渲染技术,让动画内容制作更便宜高效。

虽然生成对抗网络(GANS)已经能够生成效果不错的2D图像数据,但是很多视觉应用需要的不仅是图像,还需要输入3D模型。

训练数据

如果直接扩展现有的GAN模型,研究人员需要3D训练数据,但这类数据很昂贵。所以,研究人员开始搭建一个AI系统,让它只通过2D图像数据训练来学习如何生成3D模型,这样的应用范围更广,也更省钱,而且容易上手。

专业人士解释,在实验中,研究团队为生成器使用了3D卷积GAN架构。研究人员利用3D模型和现实数据创建了合成数据集,在不同角度进行渲染,生成了不同物体的合成图像。

研究人员也使用了曝光和阴影信息,让渲染引擎生成浴缸、沙发等高质量的凸起形状,解决之前同类技术未能解决的难题。

理论上,该技术能应用在更多复杂的图像渲染引擎上,学习更具细节的3D信息。

最后,研究人员总结道:“我们的模型已经结合了色彩、材质和光线预测功能,希望能让机器接触更多真实世界的数据组。”(T)

阅读 ()
技术前沿
Portrait Displays发布Calman 2020软件

全球色彩校正解决方案领导者Portrait Displays官宣发布Calman 2020软件。

技术前沿
新一代VVC/H. 266编码发布 文件压缩比相较HEVC提升一倍

日前,Fraunhofer HHI对外公布了H. 266编解码格式,也被称为万能视频编码(Versatile Video Coding /VVC)。与H. 265相比,新编码的压缩标准可减少50%的文件大小,以满足整体复杂性的不断增长以及对更强大编解码能力的需求。它也能够支持8K HDR,同时免于占据大量带宽或硬盘空间。

技术前沿
超镜头(Metalens)新进展

最近,哈佛大学研制出的一款新型镜头会完全变革手机相机的制造。