一种基于对抗网络和相关性分析的跨域人脸生成方法技术

本发明专利技术涉及一种基于对抗网络和相关性分析的跨域人脸生成方法，属于计算机领域。该方法包括以下步骤：对成对跨域图片进行预处理，通过人脸识别可见光图片获取人脸所在位置并切割得到成对的可见光和非可见光人脸图片；将可见光人脸和非可见光人脸输入到模型中，模型的特征提取模块从可见光人脸图片和非可见光人脸图片中分别提取可见光人脸特征和非可见光人脸特征；分析计算人脸特征的相关性，得到重建人脸图片，得到目标域的人脸图片，判别模块进行判别。本发明专利技术生成的可见光人脸图像质量更高，且能够生成更真实的图像且能够比其他方法更能够保持原始域人脸身份信息，在人脸匹配任务中准确率要明显优于其他方法。任务中准确率要明显优于其他方法。任务中准确率要明显优于其他方法。

【技术实现步骤摘要】
一种基于对抗网络和相关性分析的跨域人脸生成方法


[0001]本专利技术属于计算机领域，涉及一种基于对抗网络和相关性分析的跨域人脸生成方法。

技术介绍

[0002]在现实生活中，受限于所处的环境和条件，很多时候无法获取所需要的信息，因此需要换一个角度或方式。例如，由于光照条件较差，普通相机无法正常拍摄人物主体也无法获取目标信息，但是由于人物主体能够产生热量，因此可以使用热成像相机拍摄并获取信息；警察办案时，由于犯罪现场没有摄像头无法获取犯罪嫌疑人的人脸图像，但是可以依据目击者描述嫌疑人的样貌特征来绘画出嫌疑人的肖像。尽管在条件恶劣的情况下能够获取所需的部分信息，但是由于这些信息不属于符合人眼所见的可见光域，与人眼实际看到的会有较大差异，如热成像中的人脸面部缺少纹理细节，仅有一个大致的轮廓。在这种情况下辨认一张人脸是比较困难的且具有挑战性，为了解决这个问题，人们采用一个思路：将非可见光域的人像转换到可见光域，再用可见光域的人脸匹配方法去识别人脸所属信息。从非可见光域转换到可见光域的问题被称为图像转换问题，例如根据热成像人脸推测现实人脸大致模样；帮助警方从素描肖像中生成可见光人脸，再在人脸数据库中进行匹配确定嫌疑人信息。
[0003]图像转换涉及原始域到目标域的映射，在转换的过程中，模型去掉图像中原始域的属性并重新赋予其目标域的属性。尽管图像转换在很多领域取得了亮眼的成绩，但是在跨域人脸转换领域依然有待提高。首先，不同于其他应用，人脸的细节较为丰富且包含的特征信息较多，因此对映射的要求较高，微小的生成差异可能会导致生成的结果不理想。其次，生成的人脸还需要保证原始域的人脸特征，否则会由于生成的人脸与原始域人脸相似度较大导致在人脸匹配时匹配效果差。最后，受限于设备和拍摄的方式，跨域的成对人脸数据量较少，数据量缺乏会导致模型训练后得到的参数可能不够准确，出现过拟合的情况，从而导致模型准确性变差，且模型容易受到噪声影响使得模型的稳定性也可能受到影响。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于对抗网络和相关性分析的跨域人脸生成方法。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]一种基于对抗网络和相关性分析的跨域人脸生成方法，该方法包括以下步骤：
[0007]S1：对成对跨域图片进行预处理，通过人脸识别可见光图片获取人脸所在位置并切割得到成对的可见光和非可见光人脸图片；
[0008]S2：将可见光人脸和非可见光人脸输入到模型中，模型的特征提取模块从可见光人脸图片和非可见光人脸图片中分别提取可见光人脸特征和非可见光人脸特征；
[0009]S3：用典型相关性分析计算步骤S2中的可见光人脸特征和非可见光人脸特征的相
关性；
[0010]S4：模型中的重建模块将步骤S2中得到的人脸特征映射回原始域中，得到重建人脸图片；
[0011]S5：模型中的生成模块将步骤S2中得到的人脸特征映射到目标域中，得到目标域的人脸图片；
[0012]S6：将S4中得到的生成的人脸图片和S1中的原始域人脸图片输入到模型的判别网络中，判别模块对二者进行判别。
[0013]可选的，所述S2中，得到的可见光人脸特征和非可见光人脸特征分别为：
[0014]fea
x
＝E
x
(x)
[0015]fea
y
＝E
y
(y)
[0016]其中，x为输入的可见光人脸图片，y为输入的非可见光图片，E
x
为可见光特征提取网络，E
y
为非可见光特征提取网络，fea
x
为提取的可见光人脸特征，fea
y
为提取的非可见光人脸特征。
[0017]可选的，所述S3中，根据典型相关性分析得到的相关性损失为：
[0018][0019]其中，令H1＝E
x
(x)、H2＝E
y
(y)，为去中心化矩阵，对应也是一样，定义和对应Σ
22
也是类似，其中r1，r2＞0为正则化常数；H1和H2的前k个分量的总相关是矩阵T的前k个奇异值的和，k为可选参数，
[0020]可选的，所述S4中，将人脸特征映射回原始域得到重建人脸图像，则可见光重建损失和非可见光重建损失分别为：
[0021][0022][0023]其中D
rec_x
和D
rec_y
分别为可见光重建网络和非可见光重建网络，||
·
||1为L1
‑
范数。
[0024]可选的，所述S5中，将人脸特征映射到目标域得到目标域人脸图片，则可见光生成感知损失和可见光生成感知损失分别为：
[0025][0026][0027]其中D
x
为可见光生成网络，D
y
为非可见光生成网络，φ(
·
)为预训练模型提取各个维度特征操作，将真实图片与生成的图片分别提取特征，再用L1范数来计算提取出的特征的差异大小。
[0028]可选的，所述预训练模型包括VGG
‑
19和ResNet
‑
50。
[0029]可选的，所述S6中，将生成人脸图片和原始人脸图片输入到判别网络中进行判别，特征提取网络E
x
、E
y
和生成网络D
x
、D
y
分别通过与判别网络Dis
x
和Dis
y
竞争来进行对抗训练，可见光对抗损失和非可见光对抗损失分别为：
[0030][0031][0032]本专利技术的有益效果在于：本专利技术所提出的基于生成对抗和典型相关性分析的跨域人脸生成方法，相较于现有的跨域人脸生成方法，生成的可见光人脸图像质量更高，且能够生成更真实的图像且能够比其他方法更能够保持原始域人脸身份信息，在人脸匹配任务中准确率要明显优于其他方法。
[0033]本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0034]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：
[0035]图1为本专利技术流程图；
[0036]图2为CRC
‑
pix2pix模型示意图；
[0037]图3为各方法在TFW数据集上生成可见光人脸图片结果；
[0038]图4为各方法在BUAA VisNir数据集上生成可见光人脸图片结果。
具体实施方式
[0039]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗网络和相关性分析的跨域人脸生成方法，其特征在于：该方法包括以下步骤：S1：对成对跨域图片进行预处理，通过人脸识别可见光图片获取人脸所在位置并切割得到成对的可见光和非可见光人脸图片；S2：将可见光人脸和非可见光人脸输入到模型中，模型的特征提取模块从可见光人脸图片和非可见光人脸图片中分别提取可见光人脸特征和非可见光人脸特征；S3：用典型相关性分析计算步骤S2中的可见光人脸特征和非可见光人脸特征的相关性；S4：模型中的重建模块将步骤S2中得到的人脸特征映射回原始域中，得到重建人脸图片；S5：模型中的生成模块将步骤S2中得到的人脸特征映射到目标域中，得到目标域的人脸图片；S6：将S4中得到的生成的人脸图片和S1中的原始域人脸图片输入到模型的判别网络中，判别模块对二者进行判别。2.根据权利要求1所述的一种基于对抗网络和相关性分析的跨域人脸生成方法，其特征在于：所述S2中，得到的可见光人脸特征和非可见光人脸特征分别为：fea
x
＝E
x
(x)fea
y
＝E
y
(y)其中，x为输入的可见光人脸图片，y为输入的非可见光图片，E
x
为可见光特征提取网络，E
y
为非可见光特征提取网络，fea
x
为提取的可见光人脸特征，fea
y
为提取的非可见光人脸特征。3.根据权利要求2所述的一种基于对抗网络和相关性分析的跨域人脸生成方法，其特征在于：所述S3中，根据典型相关性分析得到的相关性损失为：其中，令H1＝E
x
(x)、H2＝E
y
(y)，为去中心化矩阵，对应同理，定义和对应∑
λλ
同理，其中r1，r2＞0...

【专利技术属性】
技术研发人员：贺俊昌，米建勋，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：