基于全卷积神经网络的网纹人脸图像识别方法与装置制造方法及图纸

本发明专利技术公开了一种基于全卷积神经网络的网纹人脸图像识别方法与装置。该方法包括：收集网纹人脸图像和对应的清晰人脸图像对，并利用这些图像对训练一个用于从网纹图像中恢复清晰人脸图像(去网纹)的全卷积神经网络。识别时，将网纹人脸图像输入到训练好的去网纹模型中，得到清晰人脸图像用来进行后续的人脸识别任务。本发明专利技术采用了全卷积神经网络作为学习框架的主体，利用其具有更大视觉感受野和更快运算速度的特点。在训练目标函数设计上，结合像素级别的重建损失以及人脸特征级别的重建损失，搭配使用空间变换模块在网络中进行人脸区域的精确对准以实现人脸区域特征的准确提取。发明专利技术所采用的方法不仅能有效从网纹图像中恢复出清晰人脸图像，并且能够在恢复过程中保持人脸特征相对稳定，可以大幅度提高网纹人脸图像的识别准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉、模式识别，机器学习等
，特别是一种基于全卷积神经网络的网纹人脸图像识别方法与装置(FullyConvolutionalNetworkforDeepMeshFaceVerification，简称DeMeshNet)。
技术介绍
人脸识别技术由于其非接触式的身份认证方式以及准确便捷的特点，在我们生活中的方方面面都开始受到重视。不仅在传统的机场安检、人脸考勤和海关通关等应用场景中使用广泛，人脸识别技术在移动互联网中也逐渐得到广泛应用。特别是其中的基于证件照生活照比对的人脸识别技术，在互联网金融领域开始获得极大的推广，基于该技术的银行远程开户以及钱包支付功能开始逐渐出现并受到了广泛关注。该技术由于可以不需要提前注册就能在线识别，从而大幅度提高了人脸识别技术的可用性，丰富了其应用场景。伴随其便利性而来的必然是技术上的挑战。目前证件照生活照比对问题主要面临两个技术难点。第一方面的难点在于证件照和生活照的采集时间不同，环境不同，因而通常采集得到的人脸图像的光照情况、姿态和表情也不尽相同。这些差异使得类内的差异非常大，有时甚至会超过类间的差异，这对自动人脸识别的算法提出了非常大的挑战。另一方面，为了防止证件照的滥用，通过公安部系统提供的数据接口获得的身份证图片通常会加入随机网纹。这些网纹的存在虽然一定程度上保护了用户隐私，但对自动的人脸识别系统造成了巨大的干扰，严重降低了人脸识别的精度。深度学习的方法在人工智能领域发挥了巨大的作用，特别是在计算机视觉领域，在物体识别，检测，分割的传统领域都获得了极大的突破。科研人员通过加大训练数据量，利用卷积神经网络，在人脸识别技术上也取得了重要突破，在公开数据集LFW上获得了超越人眼的识别效果。同时，该类的模型在一些底层视觉问题上，例如图像的反卷积、去模糊、去噪以及超分辨等任务中也都取得了非常好的效果。特别的，利用一类特殊的结构，即全卷积深度神经网络，科研工作者能够在图像语义分割、图像超分辨、图像去噪以及图像填充等任务中做出最佳的效果。
技术实现思路
针对图像比对技术中的网纹人脸图像识别这一技术难点，本专利技术提出了一种基于全卷积神经网络的网纹人脸图像识别方法和装置。为了提高网纹图像用于人脸识别时的准确率，本专利技术训练一个可以用网纹图像恢复出不带网纹的清晰人脸图像的模型。本专利技术使用全卷积神经网络作为预测清晰人脸图像的主体，充分利用其计算量小且视觉感受野大的优点。为了使得恢复的清晰人脸能够准确进行识别，在目标函数设计时除了考虑常见的像素级别的损失，本专利技术中还加入了特征级别的损失。即希望恢复出的清晰图像经过一个预训练好的特征提取网络之后，输出的特征和目标清晰图像经过该网络输出的特征尽量一致。为了能进行端到端的训练，本专利技术在模型设计时加入了空间变换模块，该模块能够在网络内部进行人脸的对齐，方便进行特征的提取与比较。本专利技术提出了一种基于全卷积神经网络的网纹人脸图像识别方法，具体按照以下步骤实施：步骤S1、收集网纹人脸图像x和对应的清晰人脸图像y对作为样本图像对，形成训练数据集，针对每个样本图像对通过阈值法得到指示网纹位置的标签图m。对于收集的网纹人脸图像，需要提前计算好两个眼睛的位置坐标(xr，yr)，(xl，yl)，用于在网络训练中进行人脸对齐。准备好用于人脸特征提取的神经网络模型φ。步骤S2、训练得到从带网纹人脸图像恢复出清晰人脸图像的全卷积神经网络模型ψ，包括：利用所述训练数据集中的样本图像对，训练一个全卷积神经网络。训练过程中，网纹人脸图像输入到全卷积神经网络ψ，并且输出一个清晰人脸的预测。利用神经网络ψ对清晰人脸图像的预测和数据集中的清晰人脸图像的差异，可以通过梯度反传对网络中的权重参数进行调整，从而进行学习。用于梯度反传的损失函数包括两个部分，第一部分是基于像素级别的差异，即要保证网络预测的清晰图像和数据集中的目标清晰图像在像素上尽量一致。第二部分是基于特征级别的差异，即要保证网络预测的清晰图像在送入准备好的特征提取网络φ之后，所得到的特征表达要尽量与目标图像一致。步骤S3、使用训练好的去网纹网络模型，从待识别的网纹人脸图像中预测出清晰人脸图像，并使用预测的清晰人脸图像进行人脸识别。本专利技术还提出了一种基于全卷积神经网络的网纹人脸图像识别装置，包括：训练样本准备模块，用于收集网纹人脸图像和对应的清晰人脸图像对作为样本图像对，形成训练数据集，针对每个样本图像对通过阈值法得到指示网纹位置的标签图。对于收集的网纹人脸图像，提前计算好两个眼睛的位置坐标。准备好用于人脸特征提取的神经网络模型φ；清晰图像预测模型(全卷积神经网络)训练模块，用于训练得到从网纹人脸图像恢复出清晰人脸图像的全卷积神经网络模型，包括：利用所述训练数据集中的样本图像对，训练一个全卷积神经网络，训练过程中，该全卷积神经网络前半部分的多个卷积层对输入的网纹人脸图像进行处理。利用来自于像素级别和特征级别的目标函数，对卷积层的各个权重参数通过反复的梯度反传，学习获得最终的清晰图像预测模型；识别模块，用于使用训练好的全卷积神经网络模型，恢复出待识别的清晰人脸图像，并进行人脸识别。本专利技术的有益效果：本专利技术的上述方法通过全卷积神经网络可以从网纹图像中恢复出不带网纹的清晰人脸图像，并利用恢复出的清晰人脸图像进行人脸识别。本专利技术提出的全卷积神经网络模型，具有更快的计算速度和更强的模型性能。通过本专利技术提出的结合像素级损失和特征级损失的目标函数，可以获得一个大大提高算法识别率的网纹恢复模型。通过本专利技术提出的模型先从带网纹图像中预测出清晰人脸图像，再去进行人脸识别，可以极大的提高识别的精度。附图说明图1是网纹人脸图像、清晰人脸图像以及网纹位置标签图的示意图；图2是本专利技术中基于全卷积神经网络的网纹人脸图像识别方法的方法流程图；图3是本专利技术中全卷积神经网络模型的框架示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。为了解决网纹人脸图像的识别问题，本专利技术提出的基于全卷积神经网络的网纹人脸图像识别方法及装置通过全卷积神经网络从网纹人脸图像中恢复出来不带网纹的清晰人脸图像。全卷积神经网络因为具有降采样和升采样层，一方面可以减少计算量，另一方面也可以增大视觉感受野，提高利用上下文信息的能力，从而可以提高效果。为了在恢复清晰图像的同时能够保证较好的识别效果，本专利技术在训练全卷积神经网络时使用来自于两个层次的损失作为目标函数，即像素级别的损失以及特征级别的损失。联合使用两个损失训练出来的模型可以更好的预测出能够用来精确进行人脸识别的清晰图像。本专利技术通过一个独特的目标函数去优化全卷积神经网络，学习得到一个高度非线性的变换，用来从网纹图像中恢复出来不带网纹的清晰图像，并使用清晰图像进行后续人脸识别。图1是示出了网纹人脸图像、清晰人脸图像以及网纹位置标签图的示意图。图2是示出了本专利技术提出的基于全卷积神经网络的网纹人脸图像识别方法流程图，如图2所示该方法包括以下几个步骤：步骤S1，收集网纹人脸图像x和对应的清晰人脸图像y对作为样本图像对，形成训练数据集，所述图像对的大小一致，灰度图或者彩色图像均可。针对每个样本图像对通过阈值法得到指示网纹位置的标签图Mi。对本文档来自技高网...

【技术保护点】
一种基于全卷积神经网络的网纹人脸图像识别方法，其特征在于，包括：步骤S1、收集网纹人脸图像和对应的清晰人脸图像对作为样本图像对，形成训练数据集，针对每个样本图像对通过阈值法得到指示网纹位置的标签图；步骤S2、训练得到能够从网纹人脸图像恢复出清晰人脸图像的全卷积神经网络模型，包括：从所述训练数据集中选取样本图像对作为当前样本图像对，将当前样本图像对中的网纹人脸图像输入到全卷积神经网络模型，得到输出的清晰人脸图像的预测结果；利用所述清晰人脸图像的预测结果和当前样本图像对中清晰人脸图像之间的差异，通过梯度反传对所述全卷积神经网络模型中的权重参数进行调整，迭代执行上述训练过程，直至满足迭代条件为止，得到训练好的全卷积神经网络模型；步骤S3、使用训练好的全卷积神经网络模型，从待识别的网纹人脸图像中预测得到清晰人脸图像。

【技术特征摘要】
1.一种基于全卷积神经网络的网纹人脸图像识别方法，其特征在于，包括：步骤S1、收集网纹人脸图像和对应的清晰人脸图像对作为样本图像对，形成训练数据集，针对每个样本图像对通过阈值法得到指示网纹位置的标签图；步骤S2、训练得到能够从网纹人脸图像恢复出清晰人脸图像的全卷积神经网络模型，包括：从所述训练数据集中选取样本图像对作为当前样本图像对，将当前样本图像对中的网纹人脸图像输入到全卷积神经网络模型，得到输出的清晰人脸图像的预测结果；利用所述清晰人脸图像的预测结果和当前样本图像对中清晰人脸图像之间的差异，通过梯度反传对所述全卷积神经网络模型中的权重参数进行调整，迭代执行上述训练过程，直至满足迭代条件为止，得到训练好的全卷积神经网络模型；步骤S3、使用训练好的全卷积神经网络模型，从待识别的网纹人脸图像中预测得到清晰人脸图像。2.如权利要求1所述的方法，其特征在于，步骤S1还包括：对于收集的网纹人脸图像，计算所述网纹人脸图像中两个眼睛的位置坐标。3.如权利要求1所述的方法，其特征在于，步骤S2中用于梯度反传的损失函数包括两个部分：第一部分是预测网纹人脸图像和清晰人脸图像之间像素级别的差异的损失函数，第二部分是预测网络人脸图像和清晰人脸图像之间特征级别的差异的损失函数。4.如权利要求1所述的方法，其特征在于，所述步骤S1包括：步骤S11：将所采集的网纹人脸图像和对应的清晰人脸图像的大小处理成一致，且对于训练数据集中的每个样本图像对按照一定阈值得到指示网纹分布的位置的二值图像作为标签图像。5.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：步骤S21：初始化全卷积神经网络模型中的所有节点的权重参数；步骤S22：计算前向损失；根据全卷积神经网络模型当前权重参数，对于随机抽取的训练数据集中的网纹人脸图像，计算所述全卷积神经网络模型所得到的损失函数值；步骤S23：计算反传梯度；根据所得到的损失函数值以及导数链式法则，计算所述全卷积神经网络模型中目标损失L对所述全卷积神经网络模型中所有节点的权重参数wi的偏导数步骤S24：利用ADAM算法，根据步骤S23中所求的偏导数，对所述所述全卷积神经网络模型中所有节点的权重进行更新；步骤S25：从所述训练数据集中重新选择另一批网纹人脸图像，重复步骤S22-S24，直到满足迭代条件，得到训练好的全卷积神经网络模型。6.如权利要求5所述的方法，其特征在于，步骤S22中计算损失函数值所使用到的目标函数为：其中，为像素级别的损失函数，为特征级别的损失损失函数，λ1和λ2为权重参；Xi是输入的网纹人脸图像，Yi是在训练数据集中Xi对应的清晰人脸图像，ψ(Xi)是通过所述全卷积神经网络模型预测得到的清晰人脸图像的预测结果，Mi是表征网纹位置的标签图；ST代表连接所述清晰人脸图像的预测结果和特征提取网络的空间变换模块，其作用在于进行人脸对齐，归一化到统一的大小和姿态；代表矩阵的F范数，φj代表特征提取网络的第j层。7.如权利要求3所述的方法，其特征在于，所述像素级别的...

【专利技术属性】
技术研发人员：谭铁牛，赫然，孙哲南，张树，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11