基于模态对抗扰动的半监督异质人脸识别方法技术

本发明专利技术公开了一种基于模态对抗扰动的半监督异质人脸识别方法，包括：获取包括有标签数据和无标签数据的异质人脸数据集；构建包括多协作人脸表示模块和人脸模态对抗扰动模块的半监督学习异质人脸识别模型；其中，多协作人脸表示模块利用网络中不同深度的多样和模态不变判别知识的相关交互提取更强的模态不变判别特征；人脸模态对抗扰动模块用于生成模态扰动图像，将数据映射到模态不可知子空间，以缓解数据模态差异；基于异质人脸数据集对半监督学习异质人脸识别模型进行训练，以便于利用训练好的模型实现异质人脸识别。该方法仅使用较少的标记数据，即可达到很好的识别正确率，降低了对标记数据的需求和算法复杂度，具有更好的识别性能。有更好的识别性能。有更好的识别性能。

【技术实现步骤摘要】
基于模态对抗扰动的半监督异质人脸识别方法


[0001]本专利技术属于人脸识别
，具体涉及一种基于模态对抗扰动的半监督异质人脸识别方法。

技术介绍

[0002]随着计算机技术的发展，人脸识别技术已被广泛应用于金融、司法、军队、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等领域。近些年来卷积神经网络在人脸识别领域已经取得的了很大的进展，人脸识别模型已经被广泛的应用与实现场景。
[0003]传统的人脸识别技术主要是基于可见光图像的人脸识别。近年来，基于主动近红外图像的多光源人脸识别技术得到了迅速发展。可见光和近红外图像两者之间巨大的域差距降低了人脸识别模型的性能。同时，个人隐私保护问题和昂贵的标签消费导致难以从不同的源域收集足够数量的异质人脸。而目前针对较少标记数据的半监督异质人脸识别(Heterogeneous face recognition,HFR)技术的相关研究很少。
[0004]目前，常用的异质人脸识别方法主要分为三种：基于人脸合成的方法、基于公共子空间映射的方法以及基于特征描述符的方法。
[0005]基于人脸合成的方法的目标是将人脸图像通过合成的方法转换了另一个域中，从而将合成图像直接应用在人脸识别算法中，例如，文献《He R,Li Y,Wu X,et al.Coupled adversarial learning for semi
‑
supervised heterogeneous face recognition[J].Pattern Recognition,2021,110:107618.》通过在图像和特征上的对抗性学习，从而合成新的异质人脸图像。文献《Yang Z,Liang J,Fu C,et al.Heterogeneous Face Recognition via Face Synthesis With Identity
‑
Attribute Disentanglement[J].IEEE Transactions on Information Forensics and Security,2022,17:1344
‑
1358.》设计了一种具有身份属性解缠的人脸合成方法，生成身份和属性随机组合的人脸图像。文献《Luo M,Wu H,Huang H,et al.Memory
‑
modulated transformer network for heterogeneous face recognition[J].IEEE Transactions on Information Forensics and Security,2022,17:2095
‑
2109.》设计了一种带有存储能力的转换网络，用于执行无监督示例引导的图像转换。
[0006]基于公共子空间映射的方法希望将不同模态的数据映射到相同的公共子空间中，使两种模态的数据在公共子空间中差异最小，从而直接在这个子空间中进行人脸匹配。例如文献《Sharma A,Jacobs D W.Bypassing synthesis:PLS for face recognition with pose,low
‑
resolution and sketch[C]//CVPR 2011.IEEE,2011:593
‑
600.》提出了使用偏最小二乘算法学习不同模态图像的映射关系。文献《Liu D,Gao X,Wang N,et al.Coupled attribute learning for heterogeneous face recognition[J].IEEE Transactions on Neural Networks and Learning Systems,2020,31(11):4699
‑
4712.》使用集成有额外语义信息的深度学习模型学习模态之间的映射关系。
[0007]基于特征描述符的方法是寻找局部特征描述符来表示人脸图像，并根据这些描述
符进行识别。例如文献《Lei Z,Yi D,Li S Z.Discriminant image filter learning for face recognition with local binary pattern like representation[C]//2012IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2012:2512
‑
2517.》提出了用于匹配不同模态图像的判别图像滤波学习方法。文献《Liu D,Li J,Wang N,et al.Composite components
‑
based face sketch recognition[J].Neurocomputing,2018,302:46
‑
54.》综合了不同人脸成分的判别信息来提高模型性能。
[0008]然而，基于人脸合成的方法在训练样本较少时，无法生成更接近真实图像的样本，并且其识别性能受制于合成人脸的质量。基于公共子空间映射方法在将图像映射到公共子空间时，总是会导致部分信息丢失从而使识别性能降低。基于特征描述符的方法总是有着较高的计算复杂度，耗时较长。此外，现有的方法几乎都没有考虑到目前个人隐私保护问题，隐私问题导致难以从不同的源域收集足够数量的异质人脸用于训练，且获取人脸标记需要消耗大量人力，成本高昂。

技术实现思路

[0009]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于模态对抗扰动的半监督异质人脸识别方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0010]一种基于模态对抗扰动的半监督异质人脸识别方法，包括：
[0011]步骤1：获取包括有标签数据和无标签数据的异质人脸数据集；
[0012]步骤2：构建包括多协作人脸表示模块和人脸模态对抗扰动模块的半监督学习异质人脸识别模型；
[0013]其中，所述多协作人脸表示模块利用网络中不同深度的多样和模态不变判别知识的相关交互提取更强的模态不变判别特征；
[0014]所述人脸模态对抗扰动模块用于生成模态扰动图像，将数据映射到模态不可知子空间，以缓解数据模态差异；
[0015]步骤3：基于所述异质人脸数据集对所述半监督学习异质人脸识别模型进行训练，以便于利用训练好的模型实现异质人脸识别。
[0016]本专利技术的有益效果：
[0017]本专利技术提供的基于模态对抗扰动的半监督异质人脸识别方法一方面设计了多协作人脸表示模块，能够挖掘不同深度网络的人脸判别信息，提取更强的模态不变判别知识，并降低对标记数据的要求，从而显著提高异质人脸识别模型的鲁棒性；另一方面提出了模态对抗扰动算法，以将图像映射到模态不可知子空间，从而有效缓解了异质人脸识别模态差异；在两者的共同作用下，使得该方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模态对抗扰动的半监督异质人脸识别方法，其特征在于，包括：步骤1：获取包括有标签数据和无标签数据的异质人脸数据集；步骤2：构建包括多协作人脸表示模块和人脸模态对抗扰动模块的半监督学习异质人脸识别模型；其中，所述多协作人脸表示模块利用网络中不同深度的多样和模态不变判别知识的相关交互提取更强的模态不变判别特征；所述人脸模态对抗扰动模块用于生成模态扰动图像，将数据映射到模态不可知子空间，以缓解数据模态差异；步骤3：基于所述异质人脸数据集对所述半监督学习异质人脸识别模型进行训练，以便于利用训练好的模型实现异质人脸识别。2.根据权利要求1所述的基于模态对抗扰动的半监督异质人脸识别方法，其特征在于，在步骤2中，构建的多协作人脸表示模块包括若干块，每个块中均包含一个特征提取层；且除最后一个块之外，其余块中的特征提取层后面还接入了一个瓶颈层；其中，所述特征提取层构成整个模型的骨干网络用以对输入数据进行不同深度的特征提取；所述瓶颈层用于在模型训练阶段学习不同深度的特征表示。3.根据权利要求2所述的基于模态对抗扰动的半监督异质人脸识别方法，其特征在于，所述瓶颈层包括非线性映射层和线性层，具体包括3层卷积层和2层线性层。4.根据权利要求1所述的基于模态对抗扰动的半监督异质人脸识别方法，其特征在于，在步骤2中，构建的人脸模态对抗扰动模块包括模态不可知扰动生成器、人脸模态分类器以及跨模态人脸标签分类器；其中，所述模态不可知扰动生成器用于对输入数据生成对抗性扰动，得到模态扰动图像；所述人脸模态分类器用于在模型训练阶段学习区分不同模态；所述跨模态人脸标签分类器用于基于原始图像和所述模态扰动图像进行人脸分类识别。5.根据权利要求4所述的基于模态对抗扰动的半监督异质人脸识别方法，其特征在于，在步骤3中，基于所述异质人脸数据集对所述半监督学习异质人脸识别模型进行训练，包括：31)对所述半监督学习异质人脸识别模型进行预训练；32)在步骤31)的基础上，对所述人脸模态对抗扰动模块进行训练；33)基于训练好的人脸模态对抗扰动模块生成的模态扰动图像，对所述半监督学习异质人脸识别模型进行再训练。6.根据权利要求5所述的基于模态对抗扰动的半监督异质人脸识别方法，其特征在于，步骤31)包括：31a)使用在公共人脸数据集上训练的LightCNN网络权重初始化网络模型；31b)在每次训练迭代前，使用当前网络模型对无标签数据做预测，若预测的置信度大于给定阈值时，则为当前的无标签数据标记伪标签并用于下一次训练迭代过程；否则，当前的无标签数据将不参与下次训练；31c)将有标签数据和标记了伪标签的图像数据输入网络进行训练，更新网络权重。7.根据权利要求6所述的基于模态对抗扰动的半监督异质人脸识别方法，其特征在于，
在步骤31c)中，对网络的训练过程采用的损失函数如下：L
total
＝...

【专利技术属性】
技术研发人员：彭春蕾，杨炜钊，刘德成，胡瑞敏，叶波，苏鸿，张云，万锦辉，
申请(专利权)人：广西产研院人工智能与大数据应用研究所有限公司，
类型：发明
国别省市：