基于特征融合神经网络的多模态人脸识别方法技术

一种基于特征融合神经网络的多模态人脸识别方法，通过融合特征卷积神经网络，以预处理后正常光源下的可见光图像和红外光图像作为训练集进行训练，并在训练后对各种光源情况下的可见光图像和红外光图像进行识别。本发明专利技术采用特征融合卷积网络，融合可见光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果，在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。

【技术实现步骤摘要】
基于特征融合神经网络的多模态人脸识别方法
本专利技术涉及的是一种人工智能识别领域的技术，具体是一种基于特征融合神经网络的多模态人脸识别方法。
技术介绍
现有的人脸识别方法一般采用HOG、LBP、LGBP等算法或神经网络来提取特征进行人脸识别。但这些方法很适合运用于正常光源下的人脸情况。一旦人脸在非正常光强下，人脸识别的准确率就会不理想。现有的改进技术中有通过先计算拍摄到的人脸图像受光照影响的程度，并根据影响程度调整人脸图像的明暗值，后再通过神经网络进行处理，或通过红外线方式提取人脸图像进行后续特征提取。但这些技术在特征提取前都无法避免地会产生图像中的信息的损失。因而影响后续特征提取以及识别率。
技术实现思路
本专利技术针对现有技术存在的上述不足，提出一种基于特征融合神经网络的多模态人脸识别方法，采用特征融合卷积网络，融合可见光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果，在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。本专利技术是通过以下技术方案实现的：本专本文档来自技高网...

【技术保护点】
1.一种基于特征融合神经网络的多模态人脸识别方法，通过融合特征卷积神经网络，以预处理后正常光源下的可见光图像和红外光图像作为训练集进行训练，并在训练后对各种光源情况下的可见光图像和红外光图像进行识别；/n所述的融合特征卷积神经网络，包括可见光分支网络层、近红外分支网络层、融合层和预测层。/n

【技术特征摘要】
1.一种基于特征融合神经网络的多模态人脸识别方法，通过融合特征卷积神经网络，以预处理后正常光源下的可见光图像和红外光图像作为训练集进行训练，并在训练后对各种光源情况下的可见光图像和红外光图像进行识别；
所述的融合特征卷积神经网络，包括可见光分支网络层、近红外分支网络层、融合层和预测层。


2.根据权利要求1所述的方法，其特征是，所述的可见光分支网络层和近红外分支网络层均为卷积神经网络且各包括五个卷积块和一个全连接层，其中：第一卷积块和第二卷积块均包括两个用于特征提取的卷积层和一个用于降维的最大池化层，第三至第五卷积块均包括三个用于特征提取的卷积层和一个用于降维的最大池化层，每一层运算操作后的特征图都经过Relu函数作为非线性激活函数；可见光与近红外图像分别经过各自的卷积层进行卷积操作提取特征值，之后经过各自网络的全连接层。


3.根据权利要求2所述的方法，其特征是，所述的第一卷积块包括两个卷积核尺寸为3×3、步长为1×1、卷积核数量为64的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；
第二卷积块包括两个卷积核尺寸为3×3、步长为1×1、卷积核数量为128的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；
第三卷积块包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为256的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；
第四卷积块包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为512的卷积层和一个卷积核为2×2、步长为2×2的最...

【专利技术属性】
技术研发人员：陈嘉君，徐树公，曹姗，张舜卿，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31