一种结合面部静脉的人脸识别方法及装置制造方法及图纸

本发明专利技术属于信息安全领域中的生物识别技术领域，尤其涉及一种结合面部静脉的人脸识别方法及装置。所述的人脸识别方法，其包括以下步骤：1）图像采集与预处理；2）对卷积神经网络进行改进；3）训练模型；4）注册阶段；5）验证阶段：依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。本发明专利技术将人脸面部静脉特征与人脸相融合，有效的弥补了普通基于RGB图像的人脸识别方法中活体检测难的缺点；并且即使在面部特征非常相似的同卵双胞胎之间，面部静脉分布也相差巨大，这使得本发明专利技术可以有效的区分出同卵双胞胎。

A face recognition method and device combined with facial vein

【技术实现步骤摘要】
一种结合面部静脉的人脸识别方法及装置
本专利技术属于信息安全领域中的生物识别
，尤其涉及一种结合面部静脉的人脸识别方法及装置。
技术介绍
近年来，随着信息技术的发展，人脸识别已广泛应用在日常生活中，给我们的生活带来了极大的便利。现有的人脸识别方法，一般都是采用基于深度学习的卷积神经网络实现的，如专利号为CN107247949A公开的基于深度学习的人脸识别方法、装置和电子设备，包括构建卷积神经网络模型，训练模型，训练好的模型会自动提取人脸图像的特征，对其身份进行识别。在现有的人脸识别方法中，一般都是基于RGB摄像头采集的图像进行识别的，但由于人脸作为一种体外特征，很容易被照片、屏幕、头套等方式进行复制，对其进行活体检测是一大难题，并且双胞胎具有极其相似的面部特征，这也对方法带来了极大的挑战。静脉识别作为第二代生物识别技术，具有体内特征、不可复制、安全级别高、个体差异大等优点，具有巨大的研究价值。目前，指静脉识别作为一种新兴的识别技术，已应用在金融、军工等领域中。如专利号为CN105975905A公开的一种手指静脉快速识别方法，通过将一特征点集中的特征点与从另一特征点集的邻近该特征点的区域搜取的特征点进行匹配的方法，具有识别耗时短、识别率高、识别波动性小等优点。但目前静脉识别一般用于指静脉和掌静脉的识别当中，基于面部静脉识别的方法还鲜有研究。JiankangDeng等针对卷积神经网络ResNet50提出了一种新的残差网络结构IResNet50,其在人脸识别算法中效果普遍要好于ResNet50，关于IResNet50的详细介绍可参见：https://arxiv.org/abs/1801.07698。JieHu等提出的网络结构SENet（Squeeze-and-ExcitationNetworks，简称SENet）赢得了最后一届ImageNet2017竞赛分类任务的冠军，其思路简单，很容易扩展在已有网络结构中，关于该网络结构的详细介绍可参见：https://arxiv.org/abs/1709.01507。
技术实现思路
本专利技术所要解决的技术问题提供一种结合面部静脉的人脸识别方法及装置，以解决人脸识别过程中，容易被照片、屏幕、头套等方式进行复制的问题。为了解决上述技术问题，本专利技术提供的技术方案为：本专利技术涉及一种结合面部静脉的人脸识别方法，其包括以下步骤：1）图像采集与预处理：采用红外摄像头采集面部静脉图像，采用RGB摄像头采集活体人脸图像和非活体人脸图像，对面部静脉图像和人脸照片进行融合，形成预处理后的活体人脸图像和非活体人脸图像；2）对卷积神经网络进行改进：对于卷积神经网络IResNet50，在其每个残差块的通道上加入注意力机制；3）训练模型：用步骤1）采集和预处理后的活体人脸图像和非活体人脸图像组成数据集，对数据集进行扩充增强，输入到卷积神经网络中，提取512维的特征向量，并使用ArcFaceLoss对卷积神经网络进行训练，在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理；4）注册阶段：将按照步骤1）采集和预处理后的注册图像输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储在注册特征库中；5）验证阶段：设定余弦相似度阈值，将按照步骤1）采集和预处理后的验证图像输入到训练好的卷积神经网络中，得到验证图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理，这在训练过程中，可以让模型有效地学习到面部静脉特征。优选地，所述的步骤1）的具体步骤是：将红外摄像头拍摄的单通道面部静脉图像和RGB摄像头拍摄的三通道人脸图像进行合并操作，组成新的四维人脸图像。优选地，所述的步骤2）中对卷积神经网络进行改进是将输入图像的大小设置为112×112×4；将模型输入卷积层的输入通道从3改为4；同时，在每个残差块的通道上加入注意力机制，其具体是在模型的每一个残差块上进行结构改进；其具体步骤是：2.1）对每个特征层使用GlobalAveragePooling得到一个c×1×1的特征，其中c为通道数；2.2）将c×1×1的特征连接一个全连接层，将特征维度降到c/16×1×1；2.3）再将c/16×1×1的特征连接一个全连接层，得到c×1×1的特征；2.4）对得到的c×1×1的特征使用Sigmord函数进行激活；2.5）将激活后得到的c×1×1的通道权重特征与原特征层对应相乘，完成对原特征层的重新标定。以上所述的SE结构是指本专利技术
技术介绍
中述及的“Squeeze-and-ExcitationNetworks”。优选地，所述的步骤3）中的非活体人脸图像包括照片、屏幕、头套。优选地，所述的步骤3）中对数据集进行扩充增强，具体包括以下步骤：3.1）随机对图像进行平移、旋转、放缩、裁剪和左右翻转；3.2）随机改变图像的亮度、对比度和饱和度；3.3）随机加上高斯噪声；3.4）将随机增强后的图像加入数据集进行扩充。优选地，所述的步骤3）中ArcFaceLoss的公式为：式中，L为ArcFaceLoss，m为训练样本数，s为缩放系数，i为某一训练样本，yi为训练样本i所属的类别，j为某一类别，n为类别数，为类别j的参数，为所设置的间隔大小。优选地，所述的步骤4）中，注册图像选用清晰的正面人脸图像。优选地，所述的步骤5）中，余弦相似度阈值的确定方法通过以下步骤进行：5.1）由步骤1）方法采集的活体人脸中随机挑选一张图像作为注册图像输入到训练完成的网络中，获得注册特征向量，将其余图像输入到训练完成的卷积神经网络中获得特征向量；5.2）依次计算该特征向量与每一个注册特征向量之间的余弦相似度，并将该余弦相似度与余弦相似度最大的注册图像片进行配对，在[-1,1]之间以0.01为增量依次取值作为余弦相似度的阈值；5.3）计算每个阈值下网络的配对准确率，选择准确率满足要求的阈值作为最终的余弦相似度阈值。优选地，所述的步骤5）中，判断验证图像是否对应到某一个人脸的具体方法是：选择余弦相似度最大的注册图像进行配对，若两者之间的相似度大于余弦相似度阈值，则该验证图像属于该类别，若两者之间的相似度小于余弦相似度阈值，则该验证图像不在注册库的类别中。本专利技术还涉及一种结合面部静脉的人脸识别装置，其包括：1）图像采集与预处理模块，用于图像采集与预处理，即采用红外摄像头采集面部静脉图像，采用RGB摄像头采集活体人脸图像和非活体人脸图像，对面部静脉图像和人脸照片进行融合，形成预处理后的活体人脸图像和非活体人脸图像；2）网络改进模块，用于对卷积神经网络进行改进，即对于卷积神经网络IResNet50，在其每个残差块的通道上加入注意力机制本文档来自技高网...

【技术保护点】
1.一种结合面部静脉的人脸识别方法，其特征在于：其包括以下步骤：/n1）图像采集与预处理：采用红外摄像头采集面部静脉图像，采用RGB摄像头采集活体人脸图像和非活体人脸图像，对面部静脉图像和人脸照片进行融合，形成预处理后的活体人脸图像和非活体人脸图像；/n2）对卷积神经网络进行改进：对于卷积神经网络IResNet50，在其每个残差块的通道上加入注意力机制；/n3）训练模型：用步骤1）采集和预处理后的活体人脸图像和非活体人脸图像组成数据集，对数据集进行扩充增强，输入到卷积神经网络中，提取512维的特征向量，并使用ArcFace Loss对卷积神经网络进行训练，在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理；/n4）注册阶段：将按照步骤1）采集和预处理后的注册图像输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储在注册特征库中；/n5）验证阶段：设定余弦相似度阈值，将按照步骤1）采集和预处理后的验证图像输入到训练好的卷积神经网络中，得到验证图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。/n...

【技术特征摘要】
1.一种结合面部静脉的人脸识别方法，其特征在于：其包括以下步骤：
1）图像采集与预处理：采用红外摄像头采集面部静脉图像，采用RGB摄像头采集活体人脸图像和非活体人脸图像，对面部静脉图像和人脸照片进行融合，形成预处理后的活体人脸图像和非活体人脸图像；
2）对卷积神经网络进行改进：对于卷积神经网络IResNet50，在其每个残差块的通道上加入注意力机制；
3）训练模型：用步骤1）采集和预处理后的活体人脸图像和非活体人脸图像组成数据集，对数据集进行扩充增强，输入到卷积神经网络中，提取512维的特征向量，并使用ArcFaceLoss对卷积神经网络进行训练，在训练模型时，将同一个人的活体照片和非活体照片当作两个人来处理；
4）注册阶段：将按照步骤1）采集和预处理后的注册图像输入到训练好的卷积神经网络中，将得到的特征向量作为该人脸的特征存储在注册特征库中；
5）验证阶段：设定余弦相似度阈值，将按照步骤1）采集和预处理后的验证图像输入到训练好的卷积神经网络中，得到验证图像的特征向量，分别计算该特征向量与注册特征库中每一特征的余弦相似度，并依据余弦距离与余弦相似度阈值判断其是否对应到某一个人脸。


2.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤1）的具体步骤是：将红外摄像头拍摄的单通道面部静脉图像和RGB摄像头拍摄的三通道人脸图像进行合并操作，组成新的四维人脸图像。


3.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤2）中对卷积神经网络进行改进是将输入图像的大小设置为112×112×4；将模型输入卷积层的输入通道从3改为4；同时，在每个残差块的通道上加入注意力机制，其具体是在模型的每一个残差块上进行结构改进；
其具体步骤是：
2.1）对每个特征层使用GlobalAveragePooling得到一个c×1×1的特征，其中c为通道数；
2.2）将c×1×1的特征连接一个全连接层，将特征维度降到c/16×1×1；
2.3）再将c/16×1×1的特征连接一个全连接层，得到c×1×1的特征；
2.4）对得到的c×1×1的特征使用Sigmord函数进行激活；
2.5）将激活后得到的c×1×1的通道权重特征与原特征层对应相乘，完成对原特征层的重新标定。


4.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤1）中的非活体人脸图像包括照片、屏幕、头套。


5.根据权利要求1所述的结合面部静脉的人脸识别方法，其特征在于：所述的步骤3）中对数据集进行扩充增强具体包括以下步骤：
3.1）随机对图像进行平移、旋转、放缩、裁剪和左右翻转；
3.2）随机改变图像的亮度、对比度和饱和度；
3.3）随机加上高斯噪声；
3.4）将随机增强后的图片加入数据集进行扩充。

...

【专利技术属性】
技术研发人员：赵国栋，张烜，胡振寰，李学双，
申请(专利权)人：北京圣点云信息技术有限公司，
类型：发明
国别省市：北京;11