基于生成对抗网络的人脸光照迁移方法技术

本发明专利技术公开了一种基于生成对抗网络的人脸光照迁移方法，包括步骤：(1)获取正面人脸图像的样本数据；(2)从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像，作为生成器的输入，生成器输出重光照图像，判别器将真实图像和重光照图像的误差反馈给生成器，分类器将目标人脸图像和重光照图像的身份信息的误差反馈给生成器。生成器、判别器和分类器进行反复对抗训练，得到最优人脸光照迁移模型；(3)人脸光照迁移。本发明专利技术采用生成对抗网络架构及损失函数，利用注意力机制使得模型能够有效地处理对局部光照细节。网络训练中不需要使用人脸的3D信息，也不需要对齐人脸，进行端到端训练，具有很好的重光照结果。

Face light migration method based on generation antagonism network

【技术实现步骤摘要】
基于生成对抗网络的人脸光照迁移方法
本专利技术涉及人脸光照迁移与生成网络领域，特别涉及一种基于生成对抗网络的人脸光照迁移方法。
技术介绍
人脸图像的光照效果广泛应用于电影制作、虚拟现实、游戏娱乐等，但掌握图像的光照处理技术需要多年的实操经验。虽然图像的编辑技术也可以用于实现人脸的光照处理，但专业的图像编辑工具会不可避免地涉及到许多复杂的操作。因此，有必要开发一种更加智能的人脸光照处理方法。在人脸光照处理方法中有一种处理方式是人脸光照迁移，即将参考图像上的光照效果迁移到目标图像上。针对人脸光照迁移问题，许多学者提出了多种方法。Li等人使用对数总变差模型对人脸光照迁移进行了研究。该方法先将目标人脸图像和参考图像进行对齐，然后将图像分解为光照相关部分和光照不变部分，通过将目标图像的光照相关部分与参考图像的光照相关部分进行交换，实现光照迁移。Chen等人进一步拓展了Li的工作，他们在分解前使用加权最小二乘滤波器来保持最终重光照图像的颜色。此外，还有几种利用附加信息来进行人脸光照迁移的方法。Wen等人将球面谐波和形态模型结合起来表示任意光照下的人脸。与他们不同的是，Shu等人利用标准颜色直方图匹配而不是球面谐波来表示光照，他们使用一个通用的三维可变形人脸模型来表示光照可知的人脸几何特征。现有的人脸光照迁移方法还存在以下不足：需要进行人脸对齐或者需要利用人脸的3D信息来解决问题，这大大增加了问题的复杂性。而且，对于人脸对齐和人脸的3D结构，需要对人脸的关键点进行检测，在一些极端光照条件下算法可能会失效，这也是需要考虑的一点。
技术实现思路
为了克服现有的人脸光照迁移方法的不足，本专利技术提出了一种基于生成对抗网络的人脸光照迁移方法，该方法通过端到端的训练使得光照效果自适应地从参考图像迁移到目标图像上，减少了额外的依赖信息。本专利技术的目的通过以下的技术方案实现：基于生成对抗网络的人脸光照迁移方法，包括步骤：(1)获取正面人脸图像的样本数据；(2)生成对抗网络的对抗训练：从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像，将上述两张图像作为生成器的输入，生成器输出重光照图像；判别器将真实图像和当前生成的重光照图像的误差反馈给生成器，分类器将目标人脸图像和当前生成的重光照图像的身份信息的误差反馈给生成器；将当前生成的重光照图像作为新的当前目标人脸图像，将与原目标人脸具有相同光照效果的图像作为新的参考光照图像，重新输入到生成器中，生成器输出重构图像，将原目标人脸图像和重构图像的误差反馈给生成器，这个误差称之为循环一致性损失；生成器、判别器和分类器进行反复对抗训练，得到最优人脸光照迁移模型；(3)人脸光照迁移：利用训练好的最优人脸光照迁移模型进行人脸光照迁移，输入目标人脸图像和参考光照图像，即可输出光照迁移后带有参考光照的目标人脸图像。本专利技术采用生成对抗网络架构及损失函数，利用注意力机制使得最优人脸光照迁移模型能够有效地处理对局部光照细节，网络训练中不需要使用人脸的3D信息，也不需要对齐人脸，可进行端到端训练，具有很好的重光照结果。优选的，所述步骤(1)中，样本数据的图像采用CMUMulti-PIE中正面、中性表情图像，样本数据的图像进行归一化处理。优选的，所述步骤(2)中，生成对抗网络的框架包括一个生成器，一个判别器和一个分类器，生成器由下采样层、残差层和上采样层组成，判别器采用PatchGANs的网络架构，在判别器的最后一层加上一个卷积层，作为辅助的分类器。优选的，所述步骤(2)中，真实图像和当前生成的重光照图像的误差的计算方法为：(2-1-1)计算生成器的损失函数：其中，I为目标人脸图像，R为参考光照图像，Dsrc为判别器，输入为一张图像，得到多尺度特征输出来判断图像的真假，表示取一个训练批次中所有训练样本计算值的期望值；G(I,R)表示重光照图像；(2-1-2)为了训练的稳定性，定义判别器的损失函数为：其中，是由目标人脸图像I和重光照图像G(I,R)的连接线上随机进行插值采样取得，λgp是惩罚项系数，表示求关于的梯度。优选的，所述步骤(2)中，目标人脸图像和当前生成的重光照图像的身份信息的误差的计算方法为：(2-2-1)关于目标人脸图像身份信息的损失函数：(2-2-2)关于生成重光照图像身份信息的损失函数：其中，表示目标人脸图像和重光照图像的身份信息。Dcls为分类器，输入一张图片，输出其预测的身份类别，计算与本身真实的身份类别的交叉熵作为损失函数。优选的，所述步骤(2)中，循环一致性损失的计算方式为：(2-3-1)PSNR损失：其中，x,y为给定的两张图像，PSNR(x,y)表示x和y之间的相似度，MAX表示x,y中最大的像素值；(2-3-2)SSIM损失：其中，x,y分别表示两张图像，μx,μy分别表示图像x,y的均值，σx,σy分别表示图像x,y的方差，σxy表示图像x,y之间的协方差。C1,C2为两个常数，以避免除零的情况出现。每次计算的时候都从图像上取一个子窗口，然后不断滑动子窗口，最后取子窗口的平均值作为全局的SSIM。(2-3-3)attention-SSIM损失：由于原始SSIM是取所有子窗口的平均值作为最终的值，没有着重注意光照所造成的局部影响，因此这里引入注意力机制对局部光照效果进行评估。其中，M是子窗口的总数，SSIMi是第i个子窗口SSIM值，atti表示第i个子窗口的权值，权值越高表示越重要。更进一步的，计算attention-SSIM损失时，attention-SSIM中使用一个显著性网络来提取所有子窗口的权值，这个显著性网络采用与判别器同样的网络架构，也是使用PatchGANs，并且提前训练好，在生成对抗网络训练时保持参数不变，显著性网络训练时使用的损失函数为：其中S表示输入图像。Vcls表示显著性网络，输入一张图片，输出其预测的身份类别，计算与本身真实的身份类别c的交叉熵作为损失函数。优选的，所述步骤(2)中，原目标人脸图像和重构图像的误差的计算方法为：(2-4-1)重构损失：(2-4-2)PSNR损失：(2-4-3)SSIM损失：(2-4-4)attention-SSIM损失：其中，G(G(I,R),′)表示重构图像，I′表示与I具有相同光照效果的图像。这四个损失统称为循环一致性损失。本专利技术与现有技术相比，具有如下优点和有益效果：1)本专利技术通过端到端训练生成对抗网络得到最优生成器G，直接根据参考光照图像对目标人脸图像进行光照迁移，免除了人脸对齐的预处理操作，避免了人工设计先验模型，解决了传统人脸光照迁移中对人脸3D信息的依赖，提高人脸光照的实际应用价值，改善了人脸光照迁移的时间效率。2)本专利技术提出了一个显著性网络来对局本文档来自技高网...

【技术保护点】
1.基于生成对抗网络的人脸光照迁移方法，其特征在于，/n(1)获取正面人脸图像的样本数据；/n(2)生成对抗网络的对抗训练：从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像，将上述两张图像作为生成器的输入，生成器输出重光照图像；/n判别器将真实图像和当前生成的重光照图像的误差反馈给生成器，分类器将目标人脸图像和当前生成的重光照图像的身份信息的误差反馈给生成器；将当前生成的重光照图像作为新的当前目标人脸图像，将与原目标人脸具有相同光照效果的图像作为新的参考光照图像，重新输入到生成器中，生成器输出重构图像，将原目标人脸图像和重构图像的误差反馈给生成器，这个误差称之为循环一致性损失；/n生成器、判别器和分类器进行反复对抗训练，得到最优人脸光照迁移模型；/n(3)人脸光照迁移：利用训练好的最优人脸光照迁移模型进行人脸光照迁移，输入目标人脸图像和参考光照图像，即可输出光照迁移后带有参考光照的目标人脸图像。/n

【技术特征摘要】
1.基于生成对抗网络的人脸光照迁移方法，其特征在于，
(1)获取正面人脸图像的样本数据；
(2)生成对抗网络的对抗训练：从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像，将上述两张图像作为生成器的输入，生成器输出重光照图像；
判别器将真实图像和当前生成的重光照图像的误差反馈给生成器，分类器将目标人脸图像和当前生成的重光照图像的身份信息的误差反馈给生成器；将当前生成的重光照图像作为新的当前目标人脸图像，将与原目标人脸具有相同光照效果的图像作为新的参考光照图像，重新输入到生成器中，生成器输出重构图像，将原目标人脸图像和重构图像的误差反馈给生成器，这个误差称之为循环一致性损失；
生成器、判别器和分类器进行反复对抗训练，得到最优人脸光照迁移模型；
(3)人脸光照迁移：利用训练好的最优人脸光照迁移模型进行人脸光照迁移，输入目标人脸图像和参考光照图像，即可输出光照迁移后带有参考光照的目标人脸图像。


2.根据权利要求1所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，所述步骤(1)中，样本数据的图像采用CMUMulti-PIE中正面、中性表情图像，样本数据的图像进行归一化大小处理。


3.根据权利要求1所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，所述步骤(2)中，生成对抗网络的框架包括一个生成器，一个判别器和一个分类器，生成器由下采样层、残差层和上采样层组成，判别器采用PatchGANs的网络架构，在判别器的最后一层加上一个卷积层，作为辅助的分类器。


4.根据权利要求1所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，所述步骤(2)中，真实图像和当前生成的重光照图像的误差的计算方法为：
(2-1-1)计算生成器的损失函数：



其中，I为目标人脸图像，R为参考光照图像，Dsrc为判别器，输入为一张图像，得到多尺度特征输出来判断图像的真假，表示取一个训练批次中所有训练样本计算值的期望值；G(I，R)表示重光照图像；
(2-1-2)定义判别器的损失函数为：



其中，是由目标人脸图像I和重光照图像G(I，R)的连接线上随机进行插值采样取得，λgp是惩罚项系数，表示求关于的梯度。


5.根据权利要求1所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，所述步骤(2)中，目标人脸图像和当前生成的重光照图像的身份信息的误差的计算方法为：
(2-2-1)关于目标人脸图像身份...

【专利技术属性】
技术研发人员：谢晓华，许伟鸿，赖剑煌，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44