一种基于单张图片的物体光照编辑方法、系统及介质技术方案

本发明专利技术公开了一种基于单张图片的物体光照编辑方法、系统及介质，本发明专利技术方法包括将目标物体的单张图片通过训练好的高光分解网络去除强高光；将去除强高光后的图片输入训练好的法向网络以估计图片中目标物体的法向图，将去除强高光后的图片输入训练好的光照网络估计出图片中目标物体的光照图；根据法向图和光照图输入训练好的可微分渲染层，得到目标物体的逆渲染模型；为目标物体的逆渲染模型赋予新的光照、材质，然后对目标物体的逆渲染模型的光照、材质信息进行重渲染，得到目标物体在新的光照、材质下的图片。本发明专利技术能够实现从单张图像到三维模型直接的自动转换，并可按需赋予光照和材质信息，可广泛应用于增强现实技术。可广泛应用于增强现实技术。可广泛应用于增强现实技术。

【技术实现步骤摘要】
一种基于单张图片的物体光照编辑方法、系统及介质


[0001]本专利技术涉及增强现实
，具体涉及一种基于单张图片的物体光照编辑方法、系统及介质，用于实现对图像的逆向渲染。

技术介绍

[0002]随着现代增强现实技术的不断发展，移动端的增强现实技术得到了广泛的应用，比如在真实图像、视频中插入新的物体等等。然而，目前，插入真实图像视频的物体仍然要求是虚拟物体，由专业人员建立物体对应的三维模型。这一步骤对于业余用户很不友好，对于没有该方面基础的人员是无法构建自己需要使用的三维模型。目前大多数增强现实的移动应用比如SnapChat和宜家Place等，都是只能支持插入应用程序中预先内置的虚拟物体。这大大限制了用户体验。一个更吸引人的设置是允许用户从照片中自动提取对象并将其插入到目标场景。这需要一项瓶颈技术，解决从单张图像到三维模型直接的自动转换。基于单个图像的重光照技术(将物体的光影效果改变为目标场景中的光照效果)，到目前为止，一直是图形和视觉领域的关键挑战。重光照技术需要恢复真实物体的当前光照、几何形状、以及材质信息；这几个问题合起来就是图形学中的逆向渲染问题。
[0003]目前已有一些相关技术从其他思路来解决此问题，比如：1)针对场景图像的重光照方法：论文[1](Y.Yu,A.Meka,M.Elgharib,H.
‑
P.Seidel,C.Theobalt,and W.A.Smith,“Self
‑
supervised outdoor scene relighting,”in European Conference on Computer Vision.Springer,2020,pp.84
–
101.)提出一种基于深度学习的场景重光照方法，针对室外建筑物的图片，假设材质为哑光，估计出输入图片的法向(几何信息)、材质颜色和阴影，再渲染新的光照下的场景图片，该方法仅需要一张图片输入，不需要任何其他信息，缺点是只能针对建筑图片和室外场景有效，针对物体图片效果不佳。2)针对合成数据的深度学习逆渲染技术：由于该任务是一个病态问题，深度学习的工具擅长于解决此类问题，但是需要大量的带标注的训练数据。这样的真实图片数据很难以获取，因为物体的材质、光照信息难以捕捉，因此合成数据作为训练数据，也是一种常用的思路。方法[2](M.Janner,J.Wu,T.D.Kulkarni,I.Yildirim,and J.Tenenbaum,“Selfsupervised intrinsic image decomposition,”in NIPS,2017,pp.5936
–
5946.)是一种基于大规模合成数据的方法，针对单个物体的图片，可以有效恢复出几何等三维信息，然而合成数据与真实数据存在特征空间映射域不对应的问题，这就导致真实测试数据，在特征空间中并不符合合成数据的分布，因此训练出的方法对于真实数据效果很差。3)针对哑光物体的光照渲染技术：在进行逆向渲染步骤后，可微分的渲染技术是下一个步骤。目前，Pytorch3D中仅支持点光源的渲染，而已有方法[3](R.Ramamoorthi and P.Hanrahan,“An efficient representation for irradiance environment maps,”in Proceedings of the 28th annual conference on Computer graphics and interactive techniques,2001,pp.497
–
500.)则仅支持哑光材质的渲染，哑光材质的假设对于场景图片可以基本成立，但是对于单个物体而已，高光反射是广泛存在的，因此哑光反射的渲染并不能真实地模拟物体的光照效果。4)针对图像直方
图的光照编辑技术：还有一类方法[4](Shu Z,Hadap S,Shechtman E,et al.Portrait lighting transfer using a mass transport approach[J].ACM Transactions on Graphics(TOG),2017,36(4):1.)是完全不考虑三维信息，也不进行物体的重新渲染，仅仅通过两张图片之间的颜色直方图的转移，来达到近似光照编辑的视觉效果，该类方法的局限性较大，会产生材质颜色也一同改变等情况。

技术实现思路

[0004]本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基于单张图片的物体光照编辑方法、系统及介质，本专利技术能够实现从单张图像到三维模型直接的自动转换，并可按需赋予光照和材质信息，可广泛应用于增强现实技术。
[0005]为了解决上述技术问题，本专利技术采用的技术方案为：
[0006]一种基于单张图片的物体光照编辑方法，包括：
[0007]S101，将目标物体的单张图片通过训练好的高光分解网络去除强高光；
[0008]S102，将去除强高光后的图片输入训练好的法向网络以估计图片中目标物体的法向图，将去除强高光后的图片输入训练好的光照网络估计出图片中目标物体的光照图；
[0009]S103，根据法向图和光照图进行哑光渲染，得到目标物体的光影图，将所述单张图片的原图除以光影图得到材质图，得到由法向图、光照图、光影图以及材质图构成的逆渲染模型；
[0010]S104，为目标物体的逆渲染模型赋予新的光照、材质中的至少一种，然后对目标物体的逆渲染模型进行高光渲染，得到目标物体在新的光照、材质下的图片。
[0011]可选地，步骤S101中将输入的单张图片通过训练好的高光分解网络去除强高光之前还包括检测输入的单张图片的饱和像素比例，若饱和像素比例大于设定阈值则将输入的单张图片通过训练好的高光分解网络去除强高光，否则将输入的单张图片作为去除强高光后的图片，跳转步骤S102。
[0012]可选地，步骤S102中的法向网络包括依次连接的编码器和解码器，所述编码器用于将去除强高光后的图片进行编码得到法向编码向量，所述解码器用于将编码向量解码为图片中物体的法向图。
[0013]可选地，步骤S102中的光照网络包括依次连接的编码器、连接层、多层感知机和球谐系数层，所述编码器用于将去除强高光后的图片进行编码提取光照编码向量，所述连接层用于将光照编码向量和去除强高光后的图片连接后作为多层感知机的输入以获得光照系数信息，所述球谐系数层用于基于二阶球面谐波基函数为光照系数信息估计多个球谐系数以作为图片中物体的光照图。
[0014]可选地，步骤S101之前还包括训练高光分解网络、法向网络以及光照网络的步骤：
[0015]S201，构建各帧间样本物体对齐、但环境光照不同的视频数据集；
[0016]S202，构建低秩误差作为损失函数，对高光分解网络、法向网络以及光照网络进行无监督训练，且对高光分解网络、法向网络以及光照网络进行无监督训练分为两轮进行，两轮训练过程中第一轮为固定法向网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单张图片的物体光照编辑方法，其特征在于，包括：S101，将目标物体的单张图片通过训练好的高光分解网络去除强高光；S102，将去除强高光后的图片输入训练好的法向网络以估计图片中目标物体的法向图，将去除强高光后的图片输入训练好的光照网络估计出图片中目标物体的光照图；S103，根据法向图和光照图进行哑光渲染，得到目标物体的光影图，将所述单张图片的原图除以光影图得到材质图，得到由法向图、光照图、光影图以及材质图构成的逆渲染模型；S104，为目标物体的逆渲染模型赋予新的光照、材质中的至少一种，然后对目标物体的逆渲染模型进行高光渲染，得到目标物体在新的光照、材质下的图片。2.根据权利要求1所述的基于单张图片的物体光照编辑方法，其特征在于，步骤S101中将输入的单张图片通过训练好的高光分解网络去除强高光之前还包括检测输入的单张图片的饱和像素比例，若饱和像素比例大于设定阈值则将输入的单张图片通过训练好的高光分解网络去除强高光，否则将输入的单张图片作为去除强高光后的图片，跳转步骤S102。3.根据权利要求1所述的基于单张图片的物体光照编辑方法，其特征在于，步骤S102中的法向网络包括依次连接的编码器和解码器，所述编码器用于将去除强高光后的图片进行编码得到法向编码向量，所述解码器用于将编码向量解码为图片中物体的法向图。4.根据权利要求1所述的基于单张图片的物体光照编辑方法，其特征在于，步骤S102中的光照网络包括依次连接的编码器、连接层、多层感知机和球谐系数层，所述编码器用于将去除强高光后的图片进行编码提取光照编码向量，所述连接层用于将光照编码向量和去除强高光后的图片连接后作为多层感知机的输入以获得光照系数信息，所述球谐系数层用于基于二阶球面谐波基函数为光照系数信息估计多个球谐系数以作为图片中物体的光照图。5.根据权利要求1～4中任意一项所述的基于单张图片的物体光照编辑方法，其特征在于，步骤S101之前还包括训练高光分解网络、法向网络以及光照网络的步骤：S201，构建各帧间样本物体对齐、但环境光照不同的视频数据集；S202，构建低秩误差作为损失函数，对高光分解网络、法向网络以及光照网络进行无监督训练，且对高光分解网络、法向网络以及光照网络进行无监督训练分为两轮进行，两轮训练过程中第一轮为固定法向网络以训练高光分解网络和光照网络直至低秩误差收敛，第二轮为固定光照网络以训练高光分解网络和法向网络直至低秩误差收敛。6.根据权利要求5所述的基...

【专利技术属性】
技术研发人员：易任娇，朱晨阳，徐凯，奚月锋，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：