一种基于单张图片的物体光照编辑方法、系统及介质技术方案

本发明专利技术公开了一种基于单张图片的物体光照编辑方法、系统及介质，本发明专利技术方法包括将目标物体的单张图片通过训练好的高光分解网络去除强高光；将去除强高光后的图片输入训练好的法向网络以估计图片中目标物体的法向图，将去除强高光后的图片输入训练好的光照网络估计出图片中目标物体的光照图；根据法向图和光照图输入训练好的可微分渲染层，得到目标物体的逆渲染模型；为目标物体的逆渲染模型赋予新的光照、材质，然后对目标物体的逆渲染模型的光照、材质信息进行重渲染，得到目标物体在新的光照、材质下的图片。本发明专利技术能够实现从单张图像到三维模型直接的自动转换，并可按需赋予光照和材质信息，可广泛应用于增强现实技术。可广泛应用于增强现实技术。可广泛应用于增强现实技术。

【技术实现步骤摘要】
一种基于单张图片的物体光照编辑方法、系统及介质


[0001]本专利技术涉及增强现实
，具体涉及一种基于单张图片的物体光照编辑方法、系统及介质，用于实现对图像的逆向渲染。

技术介绍

[0002]随着现代增强现实技术的不断发展，移动端的增强现实技术得到了广泛的应用，比如在真实图像、视频中插入新的物体等等。然而，目前，插入真实图像视频的物体仍然要求是虚拟物体，由专业人员建立物体对应的三维模型。这一步骤对于业余用户很不友好，对于没有该方面基础的人员是无法构建自己需要使用的三维模型。目前大多数增强现实的移动应用比如SnapChat和宜家Place等，都是只能支持插入应用程序中预先内置的虚拟物体。这大大限制了用户体验。一个更吸引人的设置是允许用户从照片中自动提取对象并将其插入到目标场景。这需要一项瓶颈技术，解决从单张图像到三维模型直接的自动转换。基于单个图像的重光照技术(将物体的光影效果改变为目标场景中的光照效果)，到目前为止，一直是图形和视觉领域的关键挑战。重光照技术需要恢复真实物体的当前光照、几何形状、以及材质信息；这几个问题合起来就是图形学中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单张图片的物体光照编辑方法，其特征在于，包括：S101，将目标物体的单张图片通过训练好的高光分解网络去除强高光；S102，将去除强高光后的图片输入训练好的法向网络以估计图片中目标物体的法向图，将去除强高光后的图片输入训练好的光照网络估计出图片中目标物体的光照图；S103，根据法向图和光照图进行哑光渲染，得到目标物体的光影图，将所述单张图片的原图除以光影图得到材质图，得到由法向图、光照图、光影图以及材质图构成的逆渲染模型；S104，为目标物体的逆渲染模型赋予新的光照、材质中的至少一种，然后对目标物体的逆渲染模型进行高光渲染，得到目标物体在新的光照、材质下的图片。2.根据权利要求1所述的基于单张图片的物体光照编辑方法，其特征在于，步骤S101中将输入的单张图片通过训练好的高光分解网络去除强高光之前还包括检测输入的单张图片的饱和像素比例，若饱和像素比例大于设定阈值则将输入的单张图片通过训练好的高光分解网络去除强高光，否则将输入的单张图片作为去除强高光后的图片，跳转步骤S102。3.根据权利要求1所述的基于单张图片的物体光照编辑方法，其特征在于，步骤S102中的法向网络包括依次连接的编码器和解码器，所述编码器用于将去除强高光后的图片进行编码得到法向编码向量，所述解码器用于将编码向量解码为图片中物体的法向图。4.根据权利要求1所述的基于单张图片的物体光照编辑方法，其特征在于，步骤S102中的光照网络包括依次连接的编码器、连接层、多层感知机和球谐系数层，所述编码器用于将去除强高光后的图片进行编码提取光照编码向量，所述连接层用于将光照编码向量和去除强高光后的图片连接后作为多层感知机的输入以获得光照系数信息，所述球谐系数层用于基于二阶球面谐波基函数为光照系数信息估计多个球谐系数以作为图片中物体的光照图。5.根据权利要求1～4中任意一项所述的基于单张图片的物体光照编辑方法，其特征在于，步骤S101之前还包括训练高光分解网络、法向网络以及光照网络的步骤：S201，构建各帧间样本物体对齐、但环境光照不同的视频数据集；S202，构建低秩误差作为损失函数，对高光分解网络、法向网络以及光照网络进行无监督训练，且对高光分解网络、法向网络以及光照网络进行无监督训练分为两轮进行，两轮训练过程中第一轮为固定法向网络以训练高光分解网络和光照网络直至低秩误差收敛，第二轮为固定光照网络以训练高光分解网络和法向网络直至低秩误差收敛。6.根据权利要求5所述的基...

【专利技术属性】
技术研发人员：易任娇，朱晨阳，徐凯，奚月锋，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：