基于平行卷积神经网络特征图融合的人脸表情识别方法技术

本发明专利技术请求保护一种基于平行卷积神经网络特征图融合的人脸表情识别方法。该方法模拟人双眼视觉通道，设计一种平行结构的卷积神经网络，在卷积池化层后对平行通道的特征图进行融合；并在全连接层结构上，将其中一通道采用稀疏全连接输出，另一通道采用稠密全连接输出，最后二者输出融合并分类；采用人脸表情数据进行模型训练达到较高识别率后使用测试样本检测模型的识别效果，并获得较高的识别准确率，为情感分析人脸表情识别提供了一个新的方法。

【技术实现步骤摘要】
基于平行卷积神经网络特征图融合的人脸表情识别方法
本专利技术属于图像识别领域，特别是运用平行卷积神经网络进行人脸表情特征提取并识别的方法。
技术介绍
人脸表情包含丰富的情感真实信息，准确高效的识别人脸表情是图像视觉领域的一个重要研究方向。人脸表情信息可运用于远程教育、辅助医疗、刑侦测谎等多领域。人脸表情识别技术是通过特定的方法进行人脸表情特征提取后对特征信息进行分类识别的过程。目前人脸表情识别常用的特征提取可分为基于形状模型和纹理模型方法。其中基于形状模型的主要有主动外观模型，其通过图像之间的差异获取特征，方法简单便捷，缺点在于对具有光照，复杂背景以及角度干扰情形下的识别效果较差。基于纹理模型的典型方法有局部二值模型(LBP)和Gabor小波以及方向梯度直方图(HOG)特征的提取，这类方法对图像的某类特征进行提取，相比形状模型可使特征目标明确化，但是由于人脸表情的微弱性导致不同表情之间的差异性低，提取的特征不足导致识别误差较大。近年，深度学习方法对特征的自动提取能力被运用到人脸表情识别上。采用常规的CNN、DBN、RNN模型对具有较大差异表情有一定的识别的效果，但对微小表情特征的区分识别效果不理想。为使模型对微小差异表情特征有足够的特征提取能力的同时方便模型训练完成，从而具有较高的识别准确率，满足实际的场景运用需求，本专利技术提出一种平行卷积神经网络特征图融合的人脸表情识别方法，以适用于复杂条件下的人脸表情识别。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种提高对复杂场景下的人脸表情识别准确度的基于平行卷积神经网络特征图融合的人脸表情识别方法。本专利技术的技术方案如下：一种基于平行卷积神经网络特征图融合的人脸表情识别方法，其包括以下步骤：将人脸表情图像进行包括截取人脸面部区域和归一化步骤在内的预处理操作；将处理后图像输入平行卷积神经网络的不同通道进行卷积池化运算；对平行卷积神经网络的最后一个池化层输出的特征图进行特征比例融合得到融合后特征图；再将融合后特征图展开成一维向量的全连接形式，然后做不同连接复杂度的全连接的特征信息组合；最后将组合信息用于分类识别。进一步的，所述对获取的人脸表情图像进行截取面部区域和归一化预处理，具体包括：人脸面部获取：获取人脸面部区域，选择256×256大小的图像区域；归一化：将获取的人脸表情图像进行归一化使图像数值在[0,1]范围内。进一步的，所述将处理后图像输入平行卷积神经网络不同通道进行卷积池化运算，具体步骤如下：第一卷积层采用5×5大小卷积核获得4张特征图，然后继续使用5×5大小卷积核卷积得到8张大小为128×128的特征图，之后连接大小为2×2，步长为2的池化核进行最大池化，获得64×64大小特征图并采用Swish作为激活函数，再将8张大小为64×64的特征图进行批量归一化处理。通道1和通道2均做相同处理。进一步的，所述1通道或2通道的卷积和池化运算过程为：1)使用两个连续卷积层结构，其卷积核大小为5×5；2)采用大小2×2的池化核进行最大池化处理；3)批量归一化处理,对最大池化层输出数据求得整体的均值和方差然后采用式(1,2)调整数据结构分布；式中xi为输入值，μB为批次的均值，σB是批次的方差，γ，β为可训练参数。进一步的，所述通道1连接形式:Conv1_3--Max_pooling--Conv1_4--Max_pooling--Conv1_5--Max_pooling。Conv1_x表示1通道第x个卷积层，Max_pooling表示最大池化层；通道2连接形式:Conv2_3--Max_pooling--Conv2_4--Max_pooling--Conv2_5--Max_pooling。Conv2_x表示2通道第x个卷积层，Max_pooling表示最大池化层。进一步的，所述对网络最后一个池化层输出的特征图进行特征比例融合的步骤为：将通道1和通道2的特征图按照学习比例融合，各通道输出乘以一权值向量后进行特征图叠加。如下式：F＝aA+bB(3)式中，a,b分别为第一通道特征权重和第二通道特征权值，为可训练变量；A,B分别为第一通道特征图矩阵和第二通道特征图矩阵；F为融合后特征信息矩阵。融合后特征图F展开为大小为4096个元素的一维向量形式FC1。进一步的，所述将获取的特征信息展开成一维向量的全连接形式，后做不同连接复杂度的全连接的特征信息组合，具体包括：将FC1一维向量分别连接到512单元神经元的FC1-1和FC1-2的全连接层上，其FC1-1采用保留比例0.3的Dropout稀疏形式连接，FC1-2采用保留比例为0.6的Dropout稠密连接形式。进一步的，将FC1-1和FC1-2分别连接7个神经元的输出单元OUT1,OUT2，之后输出OUT由OUT1和OUT2叠加。进一步的，将融合后输出的OUT输入到Softmax分类器进行分类置信度概率计算，其向量中最大值索引号为分类表情编号，将分类的编号对应表情类别字符数组，最后将表情识别显示为中性、生气、厌恶、恐惧、高兴、悲伤、惊讶的表情类别。本专利技术的优点及有益效果如下：由于单通道的卷积神经网络提取特征信息有限，尤其对人脸表情微小特征提取不足，本专利技术采用平行结构的卷积神经网络可以提取更多有效的表情特征信息；将不同通道提取的特征进行比例融合，可以合理选择对通道特征的使用程度；此外在全连接层采用不同复杂程度的连接处理，对明显表情特征可经过稀疏网络决策，对微小表情特征可使用稠密网络决策，这样增加模型的特征表达能力。同时在网络中加入BatchNormalization策略处理数据分布便于网络快速的训练，防止网络发生梯度消失或梯度爆炸以及降低过拟合的风险，使训练好的网络模型对不同姿态、光照以及角度干扰的表情图像具有理想的识别效果。附图说明图1是本专利技术提供优选实施例为人脸表情识别系统结构图。图2为平行卷积神经网络模型训练流程图；图3所示为人脸表情识别系统流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本专利技术的一部分实施例。本专利技术解决上述技术问题的技术方案是：本实施例提供的一种平行卷积神经网络的特征融合人脸表情识别方法，包括以下步骤：(1)获取的人脸表情图像进行截取人脸面部区域和数值归一化预处理：截取面部区域：获取人脸面部区域选择256×256大小的图像区域进行截取。归一化：将获取的图像进行归一化使图像数值在[0,1]范围内。将图像数值矩阵除以255得到数值大小在[0,1]的图像矩阵信息。(2)平行卷积神经网络不同通道进行卷积池化运算。将处理后图像输入网络模型中，其过程包括：第一卷积层采用5×5大小卷积核获得4张特征图，然后继续使用5×5大小卷积核卷积得到8张大小为128×128的特征图，之后连接大小为2×2，步长为2的池化核进行最大池化，获得64×64大小特征图并采用Swish作为激活函数。再将8张大小为64×64的特征图进行批量归一化处理。通道1和通道2均做相同处理。具体运算模型如下：1通道卷积和池化运算过程：1)使用两个连续卷积层结构，其卷积核大小为5×5。2)采用大小2×2的池化核进行最大池化处理。3)批量归一化处理,对最大池化层输出数据求得本文档来自技高网...

【技术保护点】
1.一种基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，包括以下步骤：将人脸表情图像进行包括截取人脸面部区域和归一化步骤在内的预处理操作；将处理后图像输入平行卷积神经网络的不同通道进行卷积池化运算；对平行卷积神经网络的最后一个池化层输出的特征图进行特征比例融合得到融合后特征图；再将融合后特征图展开成一维向量的全连接形式，然后做不同连接复杂度的全连接的特征信息组合；最后将组合信息用于分类识别。

【技术特征摘要】
1.一种基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，包括以下步骤：将人脸表情图像进行包括截取人脸面部区域和归一化步骤在内的预处理操作；将处理后图像输入平行卷积神经网络的不同通道进行卷积池化运算；对平行卷积神经网络的最后一个池化层输出的特征图进行特征比例融合得到融合后特征图；再将融合后特征图展开成一维向量的全连接形式，然后做不同连接复杂度的全连接的特征信息组合；最后将组合信息用于分类识别。2.根据权利要求1所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述对获取的人脸表情图像进行截取人脸面部区域和归一化预处理，具体包括：人脸面部区域获取：获取人脸面部区域，选择256×256大小的图像区域；归一化：将获取的人脸表情图像进行归一化使图像数值在[0,1]范围内。3.根据权利要求1所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述将处理后图像输入平行卷积神经网络不同通道进行卷积池化运算，具体步骤如下：第一卷积层采用5×5大小卷积核获得4张特征图，然后继续使用5×5大小卷积核卷积得到8张大小为128×128的特征图，之后连接大小为2×2，步长为2的池化核进行最大池化，获得64×64大小特征图并采用Swish作为激活函数，再将8张大小为64×64的特征图进行批量归一化处理。通道1和通道2均做相同处理。4.根据权利要求3所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述1通道或2通道的卷积和池化运算过程为：1)使用两个连续卷积层结构，其卷积核大小为5×5；2)采用大小2×2的池化核进行最大池化处理；3)批量归一化处理,对最大池化层输出数据求得整体的均值和方差然后采用式(1,2)调整数据结构分布；式中xi为输入值，μB为批次的均值，σB是批次的方差，γ，β为可训练参数。5.根据权利要求3所述的基于平行卷积神经网络特征图融合的人脸表情识别方法，其特征在于，所述通道1连接形式:Conv1_3--Max_pooling--Conv1_4...

【专利技术属性】
技术研发人员：蔡军，昌泉，蔡芳，唐贤伦，陈晓雷，魏畅，伍亚明，林文星，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50