基于循环生成对抗网络的彩色人脸图像光照域归一化的方法技术

本发明专利技术公开了一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，包括以下步骤：S1:建立用于彩色人脸图像光照归一化的循环生成对抗网络模型；S2:建立模型的损失函数；S3:进行模型的训练，并在测试集上测试。本发明专利技术是对多种光照下的彩色人脸图像进行到指定目标光照域的转换，输入不均匀光照的彩色人脸图片，使用循环生成对抗网络作为模型架构，以目标均匀光照域为目标，实现人脸图像多光照的归一化，归一化的图像不仅可以较好的保持原有人脸的脸部属性特征，还可以很好实现跨数据集迁移。

A Method of Normalizing Illumination Domain of Colour Face Images Based on Cyclic Generation Countermeasure Network

The invention discloses a method for normalizing illumination domain of color face images based on cyclic generation antagonism network, which includes the following steps: S1: establishing a cyclic generation antagonism network model for illumination normalization of color face images; S2: establishing a loss function of the model; S3: training the model and testing it on a test set. The invention is to transform the color face image under various illuminations into the designated target illumination domain, input the color face image under uneven illumination, use the cyclic generation antagonism network as the model structure, and take the target uniform illumination domain as the target, realize the normalization of the multi-illumination of the face image, and the normalized image can not only be used. Better preservation of the face attributes of the original face features, but also very good to achieve cross-data migration.

【技术实现步骤摘要】
基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
本专利技术涉及计算机视觉人脸光照领域，更具体地，涉及一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法。
技术介绍
近年来，由于深度学习在计算机视觉的快速发展，基于二维人脸的分析技术，如人脸识别、人脸匹配、人脸属性识别等方向受到了极大的关注。目前，许多的在人脸领域的算法能够达到近乎完美的表现，也得到了广泛的使用。这些效果表现很好的算法，都是基于对人脸图像的姿态，拍摄环境，表情，光照等非人脸身份信息进行了严格的控制，对于在自然无限制的现实环境下，其应用会存在一定的不足。在自然条件下，其性能容易受到光照、拍摄角度、遮挡等多方面的影响，其中光照的变化是影响其算法性能最重要的因素之一。由于人脸是3D结构，不同角度的光照投射出的阴影，会加强或者减弱原有的人脸特征，尤其是当光照不足时候造成的脸部阴影，会导致这些二维人脸的分析算法性能急剧下降。同时，已有的理论实验证明，一个人脸个体因为光照变化引起的差异，甚至会大于相同关照下不同个体之间的差异。因此，探索合适的方法对不同光照变化环境下的人脸图像进行预处理，模拟人脸图像可能出现的光照成像环境，对于改善人脸分析算法的性能具有很大的意义。早期的方法是注重于人脸灰度图片，利用灰度的调整重新分配原始人脸图像的强度，使人脸图像不易发生光照变化，例如直方图均衡化，这些方法仅考虑人脸图像的整体强度分布，难以处理人脸图像中因光照产生的硬阴影、高光等。接下来提出的方法注重于提取同一人脸不同光照条件下的图像的光照不变特征，例如自商图像方法、S&L光照标准化方法等，这些方法同样不适用于硬阴影，处理生成的人脸图像容易丢失边缘信息，细节信息等，同时也只是应用在人脸图像的灰度图，难以拓展到彩色空间，现实应用存在较大的限制。随着深度学习的发展，卷积神经网络也被用以推断光照参数和重建光照环境图；另外，也有直接融合使用三维模型产生多视图和各个光照条件下的样本，再利用神经网络的非线性转化能力，构建一个能同时处理多光照的模型。这些方法复杂度比较高，计算成本比较大，多数的方法还是局限于处理精心分割好并且严格对齐的脸部区域，对于完整的人脸图像鲁棒性不高。生成对抗网络是现在计算机视觉研究比较热门的领域，其中，生成对抗网络被成功应用到了图像域间转换和域间迁移。这些模型学习如何将图像从一个域转换到另外一个域。这给我们的人脸图像多光照域之间进行转换提供了思路，模拟原有的人脸在可能出现的光照域成像情况，可以通过生成对抗网络的域转换的思路来实现。其优点在于，在进行人脸光照处理时，不需要切割人脸部位，不需要严格的人脸对齐，可以很好的对人脸和背景进行光照的转换，更加符合现实场景。同时，也存在一定的局限性，例如在进行光照转换时候，要保留原有图像的身份信息。更加具体为，脸部属性特征、毛发、人脸上的遮挡物等。现有的一些进行域转换的生成对抗网络模型，生成的图像容易产生噪声，丢失细节信息，存在局部模糊的情况。基于CycleGAN的人脸灰度图光照归一化，但是其只是对于人脸图像灰度图进行归一化，并且是基于严格剪裁的人脸区域，不包括头发，耳朵等部位，难以拓展到彩色空间，在自然环境下存在一定的应用限制。还有基于生成对抗网络和Tripletloss的彩色人脸图像归一化方法，但是在训练模型时候，其判别器需要对目标光照域人脸具体身份类别进行判别，以具体的人脸身份类别信息来训练模型，重构时候添加tripletloss，使用了具体的人脸身份信息，一定程度上相当于使用配对数据进行光照域的转换。这限制了该方法的对于训练数据集外的人脸图像的适应性，对于跨数据集测试，其生成的光照归一化效果不好，其应用也存在很大的限制。我们的光照域的转换生成对抗网络模型采用的是跨数据集非配对数据，并且要克服上述的这些问题，要更加注重转换生成的人脸图像的质量和跨数据集迁移的效果。
技术实现思路
本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法。为了达到上述目的，本专利技术采用以下技术方案：一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，包括以下步骤：S1：建立用于彩色人脸图像光照归一化的循环生成对抗网络模型，该循环生成对抗网络模型包括生成网络和鉴别网络，所述生成网络通过构建生成器生成人脸特征重构图片，所述鉴别网络通过构建鉴别器来鉴别光照域；S2：建立模型的损失函数，使生成对抗网络训练稳定，并且使得生成器在学习目标光照域光照信息时能够比较好保留输入图像的脸部特征；S3：进行模型的训练，将不同光照类别的图像分成不均匀光照域和目标光照域，进行在生成对抗网络中循环训练，并在测试集上测试，并查看生成的人脸图像效果图。进一步地，所述步骤S1的具体过程是：S11：构建生成网络，构建两个生成器GA和GB。其中，GA生成器以光照域集合A中的人脸图像Areal作为输入，生成与目标光照域B具有相同光照特征的图像Afake，以GB生成器生成的图片Bfake作为输入，生成与Breal具有相同光照特征与人脸特征的重构图片Arec；GB生成器以GA生成器生成的图片Afake作为输入，生成与Areal具有相同光照特征和人脸特征的重构图像Brec，并且以光照域B之中的图像Breal作为输入生成与光照域集合A光照特征相同的图片Bfake。GA生成器和GB生成器具有相同的网络结构，其网络共有四个卷积层、六个残差模块和两个转置卷积层组成，其中第一个卷积层为输入层，两个用作下采样的卷积层与两个用作上采样的转置卷积层一一对称，中间嵌入六个残差模块，保证输出图像与输入图像的大小一致。最后一个输出层也为卷积层，使用Tanh激活函数保证输出的数值在0到255之间。剩余六个卷积层与六个残差模块均使用实例归一化策略和ReLU激活函数，其中六个残差模块通道数均为256，卷积均为3x3，步长与填充均为为1；第一个和最后一个卷积层通道数为64，卷积核为7x7，填充为3，步长为1；其余卷积层通道数为上一层的两倍或者一半，卷积核大小均为3x3，步长均为2，填充均为1。S12：构建鉴别网络，构建两个鉴别器DA和DB，DA鉴别器用以鉴别人脸光照域集合A中图片Areal与生成器GB生成的图片Bfake的光照域类别；DB鉴别器用以鉴别人脸光照域B中图片Breal与生成器GA生成图片Afake的光照域间类别。鉴别器用以鉴别光照域类别时候，均采用使用多尺度特征图来进行鉴别，共有六个卷积层，六个卷积层通道数按照是前一层的两倍递增，卷积核均为3x3，步长与填充均为2和1，激活函数为LeakyReLU，在进行鉴别时，使用了后三层的特征图；进一步地，所述步骤S2的具体过程是：S21：判别器D的判别损失构建，设Dsrc(x)为判别器D使用多尺度特征融合计算得到的输入样本x为正样本的概率，当鉴别为真实时输出接近1，鉴别为假时输出接近0。生成器G旨在让生成图像xfake与真实图像xreal的表现一致，使得判别器D区分不出。而判别器D旨在尽量区分出生成图像与真实图像，因此，判别器D判别损失定义为：表示取一个训练批次中所有样本计算的期望值，训练判别器D时，旨在最大化Ladv。为了保证训练过程稳定并且生成质量高的图像，在这里使用WGAN梯本文档来自技高网...

【技术保护点】
1.基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，包括以下步骤：S1：建立用于彩色人脸图像光照归一化的循环生成对抗网络模型，该循环生成对抗网络模型包括生成网络和鉴别网络，所述生成网络通过构建生成器生成转换成指定光照域的人脸图片和人脸特征重构图片，所述鉴别网络通过构建鉴别器来鉴别光照域；S2：建立模型的损失函数，使生成对抗网络训练稳定，并且使得生成器在学习目标光照域光照信息时能够比较好保留输入图像的脸部特征；S3：进行模型的训练，将不同光照类别的图像分成不均匀光照域和目标均匀光照域，进行在生成对抗网络中循环训练，并在测试集上测试，并查看生成的人脸图像效果图。

【技术特征摘要】
1.基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，包括以下步骤：S1：建立用于彩色人脸图像光照归一化的循环生成对抗网络模型，该循环生成对抗网络模型包括生成网络和鉴别网络，所述生成网络通过构建生成器生成转换成指定光照域的人脸图片和人脸特征重构图片，所述鉴别网络通过构建鉴别器来鉴别光照域；S2：建立模型的损失函数，使生成对抗网络训练稳定，并且使得生成器在学习目标光照域光照信息时能够比较好保留输入图像的脸部特征；S3：进行模型的训练，将不同光照类别的图像分成不均匀光照域和目标均匀光照域，进行在生成对抗网络中循环训练，并在测试集上测试，并查看生成的人脸图像效果图。2.根据权利要求1所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述步骤S1的具体过程是：S11：构建生成网络，构建两个生成器GA和GB；其中，GA生成器以多光照域集合A中的人脸图片Areal作为输入，生成与目标光照域B具有相同光照特征的图片Afake，以GB生成器生成的图片Bfake作为输入，生成与Breal具有相同光照特征与人脸特征的重构图片Arec；GB生成器以GA生成器生成的图片Afake作为输入，生成与Areal具有相同光照特征和人脸特征的重构图片Brec，并且以光照域B之中的图像Breal作为输入生成与光照域集合A光照特征相同的图片Bfake；S12：构建鉴别网络，构建两个鉴别器DA和DB，DA鉴别器用以鉴别人脸光照域集合A中图片Areal与生成器GB生成的图片Bfake的光照域类别；DB鉴别器用以鉴别人脸光照域B中图片Breal与生成器GA生成图片Afake的光照域间类别，鉴别器用以鉴别光照域时候，均采用多尺度特征图来进行鉴别。3.根据权利要求2所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述生成器GA和生成器GB具有相同的网络结构，其网络共有四个卷积层、六个残差模块和两个转置卷积层，其中第一个卷积层为输入层，两个用作下采样的卷积层与两个用做上采样的转置卷积层中间嵌入六个残差模块，保证输出图像与输入图像的大小一致。4.根据权利要求2所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述鉴别器DA和鉴别器DB均采用使用多尺度特征图来进行鉴别，共有六个卷积层，六个卷积层通道数按照是前一层的两倍递增。5.根据权利要求2所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述步骤S2的具体过程是：S21：对于判别器DA，其损失函数是对多光照域集合A中的人脸图片Areal和将光照域B之中的图像Breal输入GB生成器生成的图像Bfake的光照域类别的鉴别损失，使用了多尺度特征图进行鉴别，当鉴别为真实时输出接近1，鉴别为假时输出接近0；S22：对于判别器DB，其损失函数是对目标光照域集合B中的人脸图片Breal和将集合A之中的图像Areal输入GA生成器生成的图像Afake的光照域类别的鉴别损失，使用了多尺度特征图进行鉴别，当鉴别为真实时输出接近1，鉴别为假时输出接近0；S23：对于判别器GA和GB的损失函数，均结合了WGAN梯度惩罚策略，判别器GA和GB以最小化损失函数为优化目标；S24：生成器的重构损失Lrec构建，结合三种距离衡量方法计算重构图像与原始图像之间的距离误差，分别为L1范数误差，MS-SS...

【专利技术属性】
技术研发人员：朱俊勇，李锴莹，赖剑煌，谢晓华，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44