基于深度学习的人脸重光照方法及装置制造方法及图纸
【技术实现步骤摘要】
基于深度学习的人脸重光照方法及装置
本专利技术涉及计算机视觉、计算机图形学、深度学习
，特别涉及一种基于深度学习的人脸重光照方法及装置。
技术介绍
在人们拍摄图像时，拍摄的内容以及拍摄时的条件(如时间、视角、光照)等都被记录在照片之中，一些图像处理技术可以避免重新拍照直接利用技术手段改变照片拍摄时的条件，得到新的照片。重光照技术就是改变照片拍摄时的光照得到相应新照片的方法，而人脸重光照技术针对的对象是人脸照片，其中，在图片的后期处理，电影的后期制作中，人脸重光照技术非常重要。在相关技术中，人脸重光照往往是建立人脸光照模型对人脸进行重光照处理，但是人脸与光照之间的作用非常复杂，一个人为构建的模型往往很难表达人脸在各个光照下的真实表现，可靠性差，有待解决。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度学习的人脸重光照方法，该方法可以有效提高人脸重光照的真实感和可靠性。本专利技术的另一个目的在于提出一种基于深度学习的人脸重光照装置。为达到上述目的，本专利技术一方面实施例提出了一种基于深度学习的...
【技术保护点】
一种基于深度学习的人脸重光照方法，其特征在于，包括以下步骤：利用相机参数矩阵、人脸三维模型与光照模型，并通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，获得人脸图片对应的人脸区域图、法向图和表征光照分布图；利用所述相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集；通过深度学习方法构建人脸重光照网络，其中，利用所述网络训练数据集进行训练，生成人脸重光照网络；以及利用所述相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用所述人脸重光照网络处理输出结果，得到人脸重光照结果。
【技术特征摘要】
1.一种基于深度学习的人脸重光照方法，其特征在于，包括以下步骤：利用相机参数矩阵、人脸三维模型与光照模型，并通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，获得人脸图片对应的人脸区域图、法向图和表征光照分布图；利用所述相机参数矩阵、人脸三维模型与光照模型处理照片集，获得网络训练数据集；通过深度学习方法构建人脸重光照网络，其中，利用所述网络训练数据集进行训练，生成人脸重光照网络；以及利用所述相机参数矩阵、人脸三维模型与光照模型处理人脸图片，并利用所述人脸重光照网络处理输出结果，得到人脸重光照结果。2.根据权利要求1所述的基于深度学习的人脸重光照方法，其特征在于，所述通过迭代优化方法确定所述人脸三维模型的顶点与人脸图片二维像素的位置与颜色对应关系，进一步包括：通过人脸特征点检测方法得到人脸图片中特征点位置；利用所述相机参数矩阵与所述光照模型渲染得到人脸渲染图片；迭代优化所述人脸渲染图片与人脸真实图片的像素值之差，获取所述人脸三维模型上特征点在二维图片上投影点的距离。3.根据权利要求1所述的基于深度学习的人脸重光照方法，其特征在于，所述利用所述网络训练数据集进行训练，生成人脸重光照网络，进一步包括：利用所述光照模型以及训练集中的人脸真实图片对应的法向图，得到原光照估计图和目标光照估计图；构建生成对抗网络，其中，所述对抗网络的生成网络是人所述脸重光照网络；将所述网络训练数据集的人脸真实图片与对应的所述原光照估计图以和目标光照估计图作为所述生成网络的输入，所述生成网络输出与所述目标光照估计图作为对所述抗网络的虚假输入，所述网络训练数据集的人脸真实图片与所述原光照估计图作为所述对抗网络的真实输入；将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，对生成对抗网络进行训练。4.根据权利要求3所述的基于深度学习的人脸重光照方法，其特征在于，所述将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，进一步包括：通过所述生成网络输出与所述目标光照估计图和所述原光照估计图作为输入，得到输出图片；根据所述输出图片对应的人脸真实图片各像素之差作为所述逆重光照正则项误差。5.根据权利要求3或4或所述的基于深度学习的人脸重光照方法，其特征在于，所述将所述对抗网络的输出与逆重光照正则项误差、人脸识别网络特征正则项误差之和作为误差，进一步包括:获取所述生成网络输出与人所述脸真实图片输出的人脸识别网络特征；获取...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。