基于对比学习的人脸识别模型鲁棒性提升方法技术

一种基于对比学习的人脸识别模型鲁棒性提升方法，在通过对比学习进行人脸识别的情况下，在人脸图像的特征提取中加入注意力机制，给每个特征生成一个权重值，将归一化权重和原输入的特征图相乘，生成加权后的特征。使得不符合注意力模型的内容弱化或遗忘，有效避免了对边缘特征提取可能会造成误差错误，从而能够有效提高模型的鲁棒性，即提高模型适应条件变化的能力。还包括实施一种基于对比学习的人脸识别模型鲁棒性提升方法的系统。识别模型鲁棒性提升方法的系统。识别模型鲁棒性提升方法的系统。

【技术实现步骤摘要】
基于对比学习的人脸识别模型鲁棒性提升方法


[0001]本专利技术属于机器学习领域，提出了一种基于对比学习的人脸识别模型鲁棒性提升方法。

技术介绍

[0002]处于当今的信息时代，如何准确鉴别一个人的身份、保护其信息安全，已成为一个关键的社会问题。但是传统的身份认证存在伪造和易丢失的确定，越来越难以满足信息安全。目前生物特征识别就能很好的解决该问题。生物特征识别是通过计算机技术，采集人的生物特征样本进行人的身份识别。而人脸识别是一种人体重要的生物特征识别技术，它将静态图像或视频图像中检测出的人脸图像与数据库中的人脸图像进行对比，从中找出与之匹配的人脸的过程，以达到身份识别与鉴定的目的。人脸识别技术由于具有直观、非接触性、方便采集、交互性强、可扩展性的优点，慢慢发展成为生物特征识别和人工智能的研究热点领域。它的发展能够提升信息传输、分析的安全性，为保护信息安全带来了积极作用。而且人脸识别技术的成熟和完善将为国家安全、社会保障、银行金融安全、社会福利和电子货币支付带来全新的管理方式。
[0003]传统的人脸识别方法主要有以下几类。首先是最简单的人脸识别方法——基于几何特征的方法，该方法主要依赖于人脸的鼻子、嘴巴等重点部位的形状和位置来进行判别，相对比较直观，且计算量较少。但由于该方法所需的特征点无法精确选择，同时对于光照、遮挡、表情等因素引起的变化不具有很好的鲁棒性，限制了其在实际中的应用。第二是基于特征脸的人脸识别方法，其主要原理就是通过K
‑
L变化将图像做降维处理，使图像具有很好的位移不变性和稳定性。该方法虽然操作快速，能够节省时间，但是对于图像有着较高要求的相关性，存在一定的局限性。第三是基于模型匹配的方法，该方法将人脸图像与数据库中所有的模板记录进行对比，选取最相似的模板作为待处理图像的分类。但数据库中图片数量是有限的，不太适用于现实场景。并且，以上三种方法都需要对海量的数据进行标记，需要花费大量的时间和资源。
[0004]深度学习的出现使得人脸识别技术取得了突破性的进展。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。其中，根据对数据的标记与否可以将其分为监督学习和无监督学习。相较于监督学习，无监督学习的好处是不需要人工标注的类别标签信息，而是直接利用数据本身作为监督信息，学习样本数据的特征表达，应用于下游的任务。而对比学习是无监督学习中的一种。对比学习不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此，对比学习在人脸识别中得到了广泛的应用，并且基于对比学习的人脸识别模型以及其优化由此变得更加简单，且泛化能力更强。
[0005]但是，现有的基于对比学习的人脸识别方法，只考虑了分类学习的效果，缺少对训练模型决策边界的鲁棒性考虑，即缺乏适应条件变化的能力，存在一定的安全漏洞。

技术实现思路

[0006]本专利技术要克服现有技术的上述缺点，提供一种基于对比学习的人脸识别模型鲁棒性提升方法。
[0007]针对采用对比学习进行人脸识别领域中，只考虑了分类学习的效果，缺少对模型的决策边缘的鲁棒性考虑，可能会造成分类误差的情况，本专利技术提供了一种基于对比学习的人脸识别模型鲁棒性提升方法。在保证人脸识别模型的准确性的情况下，针对对比学习模型的局限性，提高了该模型的鲁棒性。其中，鲁棒性是指模型适应条件变化的能力，即人脸识别模型在不同的环境下仍能准确识别人脸。
[0008]为了解决对比学习在分类边界的局限性，本专利技术提供了一种基于对比学习的人脸识别模型鲁棒性提升方法。即在通过对比学习进行人脸识别的情况下，在人脸图像的特征提取中加入注意力机制，给每个特征生成一个权重值，将归一化权重和原输入的特征图相乘，生成加权后的特征。这使得不符合注意力模型的内容弱化或遗忘，有效避免了对边缘特征提取可能会造成误差错误，从而能够有效提高模型的鲁棒性，即提高模型适应条件变化的能力。
[0009]本专利技术解决其技术问题所采用的技术方案是：
[0010]实施本专利技术的基于对比学习的人脸识别模型鲁棒性提升方法的系统，包括如下步骤：
[0011]1)获取待识别的人脸图像：人脸图像包括人脸平面图像和人脸轮廓图像。
[0012]2)构建人脸识别模型：人脸识别模型中包括卷积神经网络、稠密卷积网络、注意力机制、卷积网络、全连接层和分类层。
[0013]3)提取特征：分别使用卷积神经网络以及稠密卷积网络对人脸平面图像和人脸轮廓图像进行特征提取，并在网络中加入注意力机制，增加重要特征权重，从而得到人脸平面特征图和人脸轮廓深度特征图。
[0014]3.1)卷积神经网络对人脸平面图像进行特征提取：首先通过卷积核在图像上依次从左到右，从上到下进行滑动，并且与相应位置的图像的像素值进行点积运算，实现特征提取。对于同一通道上的每个卷积核参数不变(权值共享)，在不同通道上卷积核权值不共享，对于多通道数据，将每个卷积核分别在每个通道相同位置点积后的值进行相加作为特征值的一个像素值，逐渐滑动取得所有像素值就得到了所提取的特征图。
[0015]3.2)稠密卷积网络(DenseNet)对人脸轮廓形状的深度图进行特征提取：DenseNet是在保证网络中层层最大程度信息传输的前提下，直接将所有层连接起来。每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层，使得每层的输出特征图都是之后所有层的输入。本专利技术采用由dense block组成的网络结构稠密卷积网络进行特征提取，能够准确得到轮廓特征图。
[0016]3.3)在网络通道维度引入注意力机制。该注意力机制基于CNN网络设计，将特征图经过全局平均池化，将特征图压缩成特征向量，之后给每个特征通道生成一个权重值，最后将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图。
[0017]4)通过对人脸平面特征图和人脸轮廓特征图进行交叉组合，得到多模态融合特征。人脸平面特征图和轮廓特征图在数量上保持一致，并且两种特征图按照对应通道的位置进行交叉组合。
[0018]5)通过对比学习方法对特征融合后的结果进行增强表示，得到多模态特征表示：将当前识别人的其他面部平面图形和轮廓图作为正样本，其他人的面部平面图像和轮廓图作为负样本。重复上述3)、4)的操作分别得到正、负样本的多模态融合特征表示。基于对比学习的将正样本间的距离拉近，正样本与负样本距离拉远的核心思想，通过增加待识别的人脸图像对应的多模态融合特征与正样本的多模态融合特征的相似度，减少与负样本的多模态融合特征的相似度，得到多模态特征表示。
[0019]多模态特征表示的损失函数为：
[0020][0021]其中，Z
i
表示待识别的人脸图像的多模态融合特征，i表示待识别的人脸图像的样本号，Z
j
表示正样本的模态融合特征，j表示正样本的样本号，Z
...

【技术保护点】

【技术特征摘要】
1.基于对比学习的人脸识别模型鲁棒性提升方法，包括如下步骤：1)获取待识别的人脸图像：人脸图像包括人脸平面图像和人脸轮廓图像；2)构建人脸识别模型：人脸识别模型中包括卷积神经网络、稠密卷积网络、注意力机制、卷积网络、全连接层和分类层；3)提取特征：分别使用卷积神经网络以及稠密卷积网络对人脸平面图像和人脸轮廓图像进行特征提取，并在网络中加入注意力机制，增加重要特征权重，从而得到人脸平面特征图和人脸轮廓深度特征图；3.1)卷积神经网络对人脸平面图像进行特征提取：首先通过卷积核在图像上依次从左到右，从上到下进行滑动，并且与相应位置的图像的像素值进行点积运算，实现特征提取；对于同一通道上的每个卷积核参数不变(权值共享)，在不同通道上卷积核权值不共享，对于多通道数据，将每个卷积核分别在每个通道相同位置点积后的值进行相加作为特征值的一个像素值，逐渐滑动取得所有像素值就得到了所提取的特征图；3.2)稠密卷积网络(DenseNet)对人脸轮廓形状的深度图进行特征提取：DenseNet是在保证网络中层层最大程度信息传输的前提下，直接将所有层连接起来；每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层，使得每层的输出特征图都是之后所有层的输入；采用由dense block组成的网络结构稠密卷积网络进行特征提取，能够准确得到轮廓特征图；3.3)在网络通道维度引入注意力机制；该注意力机制基于CNN网络设计，将特征图经过全局平均池化，将特征图压缩成特征向量，之后给每个特征通道生成一个权重值，最后将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图；4)通过对人脸平面特征图和人脸轮廓特征图进行交叉组合，得到多模态融合特征；人脸平面特征图和轮廓特征图在数量上保持一致，并且两种特征图按照对应通道的位置进行交叉组合；5)通过对比学习方法对特征融合后的结果进行增强表示，得到多模态特征表示：将当前识别人的其他面部平面图形和轮廓图作为正样本，其他人的面部平面图像和轮廓图作为负样本；重复上述3)、4)的操作分别得到正、负样本的多模态融合特征表示；基于对比学习的将正样本间的距离拉近，正样本与负样本距离拉远的核心思想，通过增加待识别的人脸图像对应的多模态融合特征与正样本的多模态融合特征的相似度，减少与负样本的多模态融合特征的相似度，得到多模态特征表示；多模态特征表示的损失函数为：其中，Z
i
表示待识别的人脸图像的多模态融合特征，i表示待识别的人脸图像的样本号，Z
j
表示正样本的模态融合特征，j表示正样本的样本...

【专利技术属性】
技术研发人员：郑海斌，谢欣怡，陈晋音，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：