一种基于并行神经网络的人脸表情识别方法技术

本申请涉及一种基于并行神经网络的人脸表情识别方法，包括：人脸检测，获取人脸图像；将人脸图像直方图均衡化处理；提取CS‑LBP局部纹理特征；利用并行神经网络分别进行特征提取；提取的特征送入两层全连接层进行降维；采用加权融合的方法融合特征；送入softmax层进行分类，输出人脸表情。本方法采用并行神经网络架构，充分利用图像的CS‑LBP局部纹理特征，在卷积神经网络中嵌入注意力机制，自动聚焦网络感兴趣的特征区域，抑制无用特征，提高了特征提取的效率。在训练过程中采用隔离损失函数，减小同一类的特征的差异，增大不同类之间特征的空间分布，增强神经网络所提取特征的判别性。

【技术实现步骤摘要】
一种基于并行神经网络的人脸表情识别方法
本专利技术涉及一种人脸表情识别方法，属于图像识别领域。
技术介绍
人脸表情识别是计算机视觉领域的研究热点，在通信工程，医疗卫生，安全驾驶，社会情感分析等多个领域都显示出了广泛的应用前景。当前的人脸表情识别算法主要是基于传统方法和基于深度学习方法。传统的人脸特征提取算法主要有主成分分析(PrincipalComponentAnalysis,PCA)、尺度不变特征变换(Scale-InvariantFeatureTransformation,SIFT)、局部二值模式(LocalBinaryPatterns,LBP)、Gabor小波变换以及方向梯度直方图(HistogramOfGradient,HOG)等，分类算法主要有支持向量机(SupportVectorMachine,SVM)、K近邻等，随着人工智能技术越来越成熟，深度学习方法在图像识别领域大放异彩，深度神经网络(Deepneuralnetwork,DNN)被应用于表情识别并取得了较好的成绩。然而目前的表情识别方法易受到图片噪声和人为干扰因素的影响造成识别正确率欠佳，而且单通道的神经网络从图像全局出发，容易忽略图像局部特征，造成特征损失的问题，稳定性较差。
技术实现思路
本专利技术要解决的技术问题是人脸表情识别过程中单一通道卷积神经网络特征损失的问题，提出了一种基于并行神经网络的人脸表情识别方法。为了达到上述目的，本专利技术采用的技术方案是：S1、对待识别的图像进行人脸检测，获取人脸区域；S2、对获取的人脸图像做直方图均衡化处理；S3、提取人脸图像的CS-LBP局部纹理特征；S4、利用并行神经网络分别对步骤S2和步骤S3获取的图进行特征提取，加入网络注意力机制聚焦有用特征，剔除无效特征；S5、将步骤S4获取的特征送入两层全连接层进行降维；S6、将步骤S5中降维后的特征采用加权融合的方式融合成新的特征；S7、将步骤S6中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情。进一步的，所述步骤S1中人脸检测获取人脸区域采用MTCNN网络模型，其具体方法包括：S11、将图像进行“金字塔”变换，以解决目标多尺度问题。S12、将步骤S11中获取的“图片金字塔”输入到卷积神经网络P-net中，得到大量的候选区域。S13、将步骤S12中经过P-net筛选出来的照片送入较复杂的卷积神经网络R-net中进行精调，对P-net产生的多张人脸区域进行细化选择，并且舍去大部分的错误输入，提高人脸区域的可信度。S14、将步骤S13中的候选区域输入到神经网路O-net中继续筛选，输出准确的bbox坐标和landmark坐标，获取准确的人脸区域。进一步的，所述步骤S2中图像直方图均衡化处理的具体方法是：统计直方图每个灰度级出现的次数，累计归一化的直方图，利用映射关系计算新的像素值，处理后的图像灰度范围变大，图像对比度增强。进一步的，所述步骤S3中CS-LBP的具体内容是：CS-LBP是一种描述图像局部纹理特征的算子，该算子对光照变化与轮廓模糊具有一定的鲁棒性，还可以表达图像局部纹理的空间结构，计算复杂度低且抗噪声能力强，并且能够准确无误的描述图像中每一点与其相邻点在灰度值上的大小关系。CS-LBP局部纹理特征是通过使用图像对角位置像素对进行编码其计算过程如下：式中：g(pi,pi+(N/2))计算公式是通过使用像素值做差值，对差值取绝对值后判断与阈值t的大小关系进行计算如下所示：进一步的，所述步骤S4包括：S41、将步骤S2中直方图均衡化后的人脸图像X＝(x1,x2,...,xn)送入基于网络注意力机制的卷积神经网络CNN1中，经过若干层卷积运算和最大池化运算之后，获得相应的特征fH＝(fH1,fH2,...,fHm)，其中卷积运算过程如下所示：其中，CBAM为网络注意力机制；L为当前层；L-1为前一层；表示当前层的第j个特征区域；表示前一层第i个特征区域；K表示两个区域的卷积核；当前层第j个特征区域的偏置；Mj为当前层特征区域的数量；f(.)为激活函数。S42、将步骤S3获取的CS-LBP特征图X'＝(x'1,x'2,...,x'n)送入基于注意力机制的卷积神经网络CNN2中，经过若干层卷积运算和最大池化运算之后获取到相应的局部特征fL＝(fL1,fL2,...,fLk)；S43、特征经过展平层之后获到特征向量和进一步的，步骤S5中降维的具体方法为：S51、将步骤S4中提取到的特征向量输入到两层全连接层fc1-1和fc1-2中进行降维，采用Relu激活函数，如下所示：全连接层各层结构如下所示：fc1-1＝{s1,s2,...,s500}fc1-2＝{s1,s2,...,s6}其中，s表示当前全连接层的神经元，fc1-1中有500个神经元，fc1-2中有6个神经元，全连接层最后输出维度为6的特征向量S52、将步骤S4中提取到的特征向量fL输入到两层全连接层fc2-1和fc2-2中进行降维，各层结构如下所示：fc2-1＝{l1,l2,...,l500}fc2-2＝{l1,l2,...,l6}其中，l表示当前全连接层的神经元，fc2-1中有500个神经元，fc2-2中有6个神经元，全连接层最后输出维度为6的特征向量进一步的，所述步骤S6具体为：将步骤S5中的特征和加权融合后形成新的特征Fz，设置权重系数k来调节两个通道的特征比重，融合过程如下所示：当k取0或1的时候表示只有一个单通道的网络。进一步的，所述步骤S7中Softmax激活函数分类过程如下所示：其中，Z是上一层的输出，Softmax的输入，维度为C，yi为某一类别的概率值，i的取值代表了类别数。本专利技术的先进点在于：1、本专利技术采用双通道并行神经网络的方法提取特征，直方图均衡化后的图像用于提取全局特征，CS-LBP局部纹理特征图用于提取图像局部特征，然后采用加权融合的方式，将局部特征和全局特征有效融合，获取更有效的特征信息。2、在卷积神经网络中引入注意力机制，在特征提取的过程中自动聚焦网络感兴趣的特征区域，抑制无用特征，提高了特征提取的效率。3、采用新的损失函数—隔离损失，隔离损失不仅能减小同一类的特征的差异，而且能够增大不同类之间特征的空间分布，增强神经网络所提取特征的判别性。附图说明图1为基于并行神经网络的人脸表情识别方法流程图。图2为图像直方图均衡化后的特征提取网络结构示意图。图3为CS-LBP特征图特征提取网络结构示意图。图4为并行神经网络整体结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的本文档来自技高网...

【技术保护点】
1.一种基于并行神经网络的人脸表情识别方法，其特征在于，包括以下几个步骤：/nS1、对待识别的图像进行人脸检测，获取人脸区域；/nS2、对获取的人脸图像做直方图均衡化处理；/nS3、提取人脸图像的CS-LBP局部纹理特征；/nS4、利用并行神经网络分别对步骤S2和步骤S3获取的图进行特征提取，加入网络注意力机制聚焦有用特征，剔除无效特征；/nS5、将步骤S4获取的特征送入两层全连接层进行降维；/nS6、将步骤S5中降维后的特征利用加权融合的方式融合成新的特征；/nS7、将步骤S6中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情。/n

【技术特征摘要】
1.一种基于并行神经网络的人脸表情识别方法，其特征在于，包括以下几个步骤：
S1、对待识别的图像进行人脸检测，获取人脸区域；
S2、对获取的人脸图像做直方图均衡化处理；
S3、提取人脸图像的CS-LBP局部纹理特征；
S4、利用并行神经网络分别对步骤S2和步骤S3获取的图进行特征提取，加入网络注意力机制聚焦有用特征，剔除无效特征；
S5、将步骤S4获取的特征送入两层全连接层进行降维；
S6、将步骤S5中降维后的特征利用加权融合的方式融合成新的特征；
S7、将步骤S6中的新特征送入全连接层利用Softmax激活函数对其进行分类，输出表情。


2.根据权利要求1所述的基于并行神经网络的人脸表情识别方法，其特征在于，所述步骤S1包括：
S11、将图像进行“金字塔”变换，以解决目标多尺度问题。
S12、将步骤S11中获取的“图片金字塔”输入到卷积神经网络P-net中，得到大量的候选区域。
S13、将步骤S12中经过P-net筛选出来的照片送入较复杂的卷积神经网络R-net中进行精调，对P-net产生的多张人脸区域进行细化选择，并且舍去大部分的错误输入，提高人脸区域的可信度。
S14、将步骤S13中的候选区域输入到神经网路O-net中继续筛选，输出准确的bbox坐标和landmark坐标，获取准确的人脸区域。


3.根据权利要求2所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S2中，统计直方图每个灰度级出现的次数，累计归一化的直方图，利用映射关系计算新的像素值，对在图像中像素个数多的灰度值进行展宽，而对像素个数少的灰度值进行归并，获取更清晰的图像。


4.根据权利要求3所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S3中，计算原始图像的CS-LBP特征，计算过程为：



式中：g(pi,pi+(N/2))计算公式是通过使用像素值做差值，对差值取绝对值后判断与阈值t的大小关系进行计算如下所示：





5.根据权利要求4所述的基于并行神经网络的人脸表情识别方法，其特征在于，在所述步骤S4包括：
S41、将步骤S2中直方图均衡化后的人脸图像X＝(x1,x2,...,xn)送入基于网络注意力机制的卷积神经网络CNN1中，经过若干层卷积运算和最大池化运算之后，获取相应的全局特征fH＝(fH1,fH2,...,fHm)，其中卷积运算过程如下所示：
<...

【专利技术属性】
技术研发人员：李靖宇，苗壮，耿佳浩，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江;23