一种基于深度学习的多模态人脸识别方法技术

本发明专利技术公开了一种基于深度学习的多模态人脸识别方法，包括(1)对RGB人脸图像进行人脸检测和对齐，根据模态之间的映射关系裁切制作RGB模态和其他模态的人脸数据集S0，S1，S2……；(2)设计一个多模态融合的深度卷积神经网络结构N1，并训练N1网络；(3)设计一个多模态共享的深度卷积神经网络结构N2，并训练N2网络；(4)提取特征阶段、(5)相似度计算阶段和(6)相似度融合阶段。本发明专利技术采用多模态系统，通过进行多种人脸模态数据的采集，利用多种模态信息各自的优点，通过融合策略来克服单模态系统的某些内在弱点，同时充分的利用多种模态信息，有效地提升了人脸识别系统的性能，使得人脸识别更加快捷准确。

A method of multimodal face recognition based on depth learning

The invention discloses a deep learning method based on multi-modal face recognition, including (1) for face detection and alignment of RGB face image, according to the data of face mapping relationship between modes of RGB mode and other modes of cutting production set S0, S1, S2...... ; (2) N1 convolutional neural network structure design of a multimodal fusion, and training the N1 network; (3) N2 convolutional neural network structure design of a multi modal share, and training the N2 network; (4) feature extraction stage, (5) and (6) similarity similarity fusion stage. The invention adopts multi modal system, through a variety of face modal data collection, using the advantages of multi modal information of their own, to overcome some inherent weaknesses of single mode system by fusion strategy, and make full use of various modes of information, effectively improve the performance of face recognition system, which is more fast and accurate face recognition.

【技术实现步骤摘要】
一种基于深度学习的多模态人脸识别方法
本专利技术涉及一种人脸识别方法，尤其涉及一种基于深度学习的多模态人脸识别方法。
技术介绍
三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点，因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多学者都将他们的研究投入到该领域中。人脸不同模态的图像容易受到不同因素等的影响，这些因素在一定程度上影响了单模态人脸识别系统的稳定性及准确性。CN104778441A提出了一种融合灰度信息和深度信息的多模态人脸识别装置及方法，其核心方法是通过提取多模态的人脸特征后(专利技术中所使用的特征为手工设计的特征)，拼接起来形成一个特征池，为特征池的每一个特征构建一个弱分类器，然后利用Adaboost算法，在特征池中挑选出对于分类最为有效的特征，最后基于多模态特征层融合得到的特征，利用最近邻分类器计算出匹配分数，以此实现多模态人脸识别。但是该专利技术所使用的特征均为人工设计的特征，表达能力不够强；且该专利技术的特征利用Adaboost算法进行特征融合和特征选择，效率较低；且该专利技术是为特定两种模态设计的，具有局限性。
技术实现思路
为了解决上述问题中的不足之处，本专利技术提供了一种基于深度学习的多模态人脸识别方法。为了解决以上技术问题，本专利技术采用的技术方案是：一种基于深度学习的多模态人脸识别方法，包括以下步骤：(1)对RGB人脸图像进行人脸检测，特征点定位，对齐，裁切，制作裁切后的RGB模态人脸数据集S0；根据RGB模态和其他模态之间的坐标映射关系，找到其他模态人脸的特征点，并裁切制作其他模态的人脸数据集S1，S2……；(2)设计一个多模态融合的深度卷积神经网络结构N1，在这个结构中，前半部分是几个独立的神经网络分支，每个分支的输入对应一个模态，然后用特定的网络结构把多个模态分支融合成一个分支，再连接一系列神经网络结构单元；然后将S0，S1，S2……送入到N1的不同分支中，训练N1网络，训练好的模型用M1来表示；上述神经网络结构单元包括但不限于卷积层、归一化层、非线性层、池化层和全连接层和分布归一化层；模态包括但不限于RGB模态、深度模态和近红外模态；特定的网络结构中，每个分支有各自的分类损失作为各个模态各自的监督信号，结构融合方法包括但不限于简单的特征拼接；(3)设计一个多模态共享的深度卷积神经网络结构N2，将S0，S1，S2……不加区分的一起送入N2中，训练N2网络，训练好的模型用M2来表示；(4)提取特征阶段，对于注册集和查询集的图像，其模态范围在训练集模态范围内。某图像的不同模态可以表示为I0，I1，I2……，然后把I0，I1，I2……分别在模型M1和M2上提取特征，特征可用F0，F0C，F1，F1C，F2，F2C……表示，C表示是从M2上提取的特征；(5)分别计算GF0和PF0之间的相似度S00，GF1和PF1的相似度S11，GF2和PF2的相似度S22；计算GF0C和PF1C之间的相似度S01，类似的计算出跨模态相似度S02，S03，S12，S13，S23……；上述GF0表示注册集图像的F0，PF0表示查询集图像的F0，GF0C表示注册集图像的F0C，PF1C表示查询集图像的F1C；(6)对所有的注册集和查询集相似度进行加权求和融合，得到最终的融合相似度S，在融合相似度S构成的相似度矩阵上进行人脸识别和人脸确认。步骤(2)中，训练N1网络的时候，损失层可以使用softmaxwithloss或者使用其他损失层。步骤(3)中，将S0，S1，S2……不加区分的送入N2中的时候，如果它们的通道数不同，则可以采取全部变为单通道的方式归一化为相同通道，或者重复单通道至通道数相同，然后再送入网络结构中进行训练。步骤(4)中，对于注册集和查询集的图像，其模态范围在训练集模态范围以内。本专利技术采用多模态系统，通过进行多种人脸模态数据的采集，利用多种模态信息各自的优点，通过融合策略来克服单模态系统的某些内在弱点，同时充分的利用多种模态信息，有效地提升了人脸识别系统的性能，使得人脸识别更加快捷准确。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1是本专利技术人脸识别算法的流程图。图2是本专利技术多模态融合的深度卷积神经网络的结构框图。图3是图2中Loss4的具体结构框图。具体实施方式如图1所示，本专利技术具体包括以下步骤：(1)对RGB人脸图像进行人脸检测，特征点定位，对齐，裁切，制作裁切后的RGB模态人脸数据集S0；然后根据RGB模态和其他模态(如深度信息，近红外信息等)之间的坐标映射关系，找到其他模态人脸的特征点，并裁切制作其他模态的人脸数据集S1，S2……；(2)设计一个多模态融合的深度神经网络结构N1，在这个结构中，前半部分是几个独立的神经网络分支，每个分支的输入对应一个模态(如RGB模态，深度模态，近红外模态等)，然后用特定的网络结构把多个模态分支融合为一个合成的神经网络分支(例如把这些特征连接起来，或按通道堆叠起来，或其他的连接结构，例如附图3那样的结构等)，再连接一系列神经网络结构单元(如卷积层、归一化层、非线性层、池化层、全连接层等)；然后将S0，S1，S2……送入到N1的不同分支中，训练N1网络，训练好的模型用M1来表示；(3)设计一个多模态共享的深度神经网络结构N2，将S0，S1，S2……不加区分的一起送入N2中，训练N2网络，训练好的模型用M2来表示；(4)提取特征阶段，对于注册集和查询集的图像，其模态范围在训练集模态范围内，某图像的不同模态可以表示为I0，I1，I2……，然后把I0，I1，I2……分别在模型M1和M2上提取特征，特征可用F0，F0C，F1，F1C，F2，F2C……表示，C表示是从M2上提取的特征；(5)计算GF0和PF0(分别表示注册集图像的F0和查询集图像的F0)之间的相似度S00，GF1和PF1的相似度S11，GF2和PF2的相似度S22；计算GF0C和PF1C(分别表示注册集图像的F0C和查询集图像的F1C)之间的相似度S01，类似的计算出跨模态相似度S02，S03，S12，S13，S23……；(6)对所有的注册集和查询集的相似度进行加权求和融合，得到最终的融合相似度S，在融合相似度S构成的相似度矩阵上进行人脸识别和人脸确认。上述加权求和融合的公式可以表示为：S＝p1*S1+p2*S2+p3*S3……，其中p1:p2:p3可以是S1，S2，S3单独进行人脸识别实验得到的识别正确率(r1，r2，r3)的反比(1/r1:1/r2:1/r3)。在步骤(2)中的深度神经网络结构N1中，网络结构单元可以包括但不限于卷积层，池化层，非线性函数层，全连接层，分布归一化层等，并且包括但不限于这些层的任意组合；网络结构单元的简单组合可以是全新设计的，也可以是基于已有的公开网络结构修改的，网络结构单元的简单组合本身不是保护的范围，但凡是符合本专利技术所叙述的，前半部分是几个独立的神经网络分支，通过特定结构融合为一个合成的分支，且特定结构中每个模态分支都有各自的独立监督信号，合成后的分支之后再接一系列神经网络结构单元的结构形式，则属于保护的范围。如图2所示给出了一个基于谷歌Inception-v2(谷歌所提出的一种深度网络结构)依本文档来自技高网...

【技术保护点】
一种基于深度学习的多模态人脸识别方法，其特征在于，包括以下步骤：(1)对RGB人脸图像进行人脸检测，特征点定位，对齐，裁切，制作裁切后的RGB模态人脸数据集S0；根据RGB模态和其他模态之间的坐标映射关系，找到其他模态人脸的特征点，并裁切制作其他模态的人脸数据集S1，S2……；(2)设计一个多模态融合的深度卷积神经网络结构N1，在这个结构中，前半部分是几个独立的神经网络分支，每个分支的输入对应一个模态，然后用特定的网络结构把多个模态分支融合成一个分支，再连接一系列神经网络结构单元；然后将S0，S1，S2……送入到N1的对应分支中，训练N1网络，训练好的模型用M1来表示；上述模态包括但不限于RGB模态、深度模态和近红外模态；特定的网络结构中，每个分支有各自的分类损失作为各个模态各自的监督信号，结构融合方法包括但不限于简单的特征拼接；(3)设计一个多模态共享的深度卷积神经网络结构N2，将S0，S1，S2……不加区分的一起送入N2中，训练N2网络，训练好的模型用M2来表示；(4)提取特征阶段，对于注册集和查询集的图像，其模态范围在训练集模态范围内，某图像的不同模态可以表示为I0，I1，I2……，然后把I0，I1，I2……分别在模型M1和M2上提取特征，特征可用F0，F0C，F1，F1C，F2，F2C……表示，C表示是从M2上提取的特征；(5)分别计算GF0和PF0之间的相似度S00，GF1和PF1的相似度S11，GF2和PF2的相似度S22；计算GF0C和PF1C之间的相似度S01，类似的计算出跨模态相似度S02，S03，S12，S13，S23……；上述GF0表示注册集图像的F0，PF0表示查询集图像的F0，GF0C表示注册集图像的F0C，PF1C表示查询集图像的F1C；(6)对所有的注册集和查询集相似度进行加权求和融合，得到最终的融合相似度S，在融合相似度S构成的相似度矩阵上进行人脸识别和人脸确认。...

【技术特征摘要】
1.一种基于深度学习的多模态人脸识别方法，其特征在于，包括以下步骤：(1)对RGB人脸图像进行人脸检测，特征点定位，对齐，裁切，制作裁切后的RGB模态人脸数据集S0；根据RGB模态和其他模态之间的坐标映射关系，找到其他模态人脸的特征点，并裁切制作其他模态的人脸数据集S1，S2……；(2)设计一个多模态融合的深度卷积神经网络结构N1，在这个结构中，前半部分是几个独立的神经网络分支，每个分支的输入对应一个模态，然后用特定的网络结构把多个模态分支融合成一个分支，再连接一系列神经网络结构单元；然后将S0，S1，S2……送入到N1的对应分支中，训练N1网络，训练好的模型用M1来表示；上述模态包括但不限于RGB模态、深度模态和近红外模态；特定的网络结构中，每个分支有各自的分类损失作为各个模态各自的监督信号，结构融合方法包括但不限于简单的特征拼接；(3)设计一个多模态共享的深度卷积神经网络结构N2，将S0，S1，S2……不加区分的一起送入N2中，训练N2网络，训练好的模型用M2来表示；(4)提取特征阶段，对于注册集和查询集的图像，其模态范围在训练集模态范围内，某图像的不同模态可以表示为I0，I1，I2……，然后把I0，I1，I2……分别在模型M1和M2上提取特征，特征可用F0，F0C，F1，F1C，F2，F2C……表示，C表示是从M2上提取的特征；(5)分别计算GF0和PF0之间的...

【专利技术属性】
技术研发人员：张浩，韩琥，山世光，陈熙霖，
申请(专利权)人：中科视拓北京科技有限公司，
类型：发明
国别省市：北京,11