基于辅任务的深度卷积小波神经网络表情识别方法技术

本发明专利技术公开了一种基于辅任务的深度卷积小波神经网络表情识别方法，解决了现有特征选择算子不能高效学习出表情特征、无法提取更多图像表情信息分类特征的问题。本发明专利技术实现为：搭建深度卷积小波神经网络；建立人脸表情集和相应的表情敏感区域图像集；输入人脸表情图像到网络；训练深度卷积小波神经网络；网络误差反向传播；更新网络各卷积核和偏置向量；输入表情敏感区域图像到训练好的网络；学习辅任务的加权比重；获得网络全局分类标签；依全局标签统计识别正确率。本发明专利技术兼顾了表情图像的抽象和细节信息，增强表情敏感区域在表情特征学习中的影响力，明显提高了表情识别的正确率，可应用于对人脸表情图像的表情识别。

Deep convolution wavelet neural network facial expression recognition method based on auxiliary task

The invention discloses a method based on auxiliary task depth convolution expression recognition wavelet neural network, solved the existing feature selection operator can not cannot more efficient learning image expression information classification feature extraction problem, expression feature. The invention is: build convolutional wavelet neural network; human facial expression and expression in sensitive areas corresponding to the image input face image sets; network training; convolutional wavelet neural network; back propagation network; network update the convolution kernel and bias vector; expression input image to the sensitive area of the trained network the proportion of learning tasks; weighted auxiliary network; global classification label; according to the global tag recognition rate statistics. The present invention has both abstract and detail information of face image, enhance the expression of sensitive areas of influence in the expression features in learning, improve the correct rate of facial expression recognition, can be applied to facial expression recognition of facial expression image.

【技术实现步骤摘要】
基于辅任务的深度卷积小波神经网络表情识别方法
本专利技术属于图像处理
，主要涉及计算机视觉识别，具体是一种基于辅任务的深度卷积小波神经网络表情识别方法。可应用于人脸表情识别中对表情特征进行学习和分类。
技术介绍
人脸表情识别是图像处理与计算机视觉领域中的一项前沿技术。它是由图像处理到图像分析的关键步骤，分割结果的优劣直接影响到随后的图像分析，理解和求解等问题。人脸表情识别的目的是研究人脸表情的编码模型，学习和提取人脸表情的特征表达方式，实现计算机对人脸表情自动合成，跟踪和识别。目前，对人脸表情识别的技术研究主要围绕特征提取和分类算法这两个方面展开。基于深度学习网络的人脸表情识别方法近几年已有被研究人员使用，特别是深度学习网络中的善于处理二维图像的深度卷积神经网络更是被研究者应用到表情识别领域，但是一般意义上的深度卷积神经网络注重的是从低层到高层之间对图像的抽象映射，以获得高级的特征表达方式，却在获得高级特征表达形式时忽略了表情图像的纹理和细节信息。并且，通常使用的深度网络一般是单任务深度网络，在对表情的特征学习时不能有效的突出表情敏感区域对特征表达的主要贡献力。在现有的表情识别本文档来自技高网...

【技术保护点】
一种基于辅任务的深度卷积小波神经网络表情识别方法，其特征在于，包括有如下步骤：(1)搭建一个由三个卷积层，两个池化层，一个多尺度变换层，一个全连接层，一个softmax输出层的深度卷积小波网络；网络卷积层的偏置权值矩阵初始化为0矩阵，网络的激活函数选用的是Sigmoid函数；(2)建立人脸表情图像集和表情敏感区域图像集，表情敏感区域图像集由人脸表情图像集裁剪出眉眼和嘴巴部位获得，将人脸表情图像数据集中的一部分图像作为网络的训练图像集，剩余的图像作为测试图像集；(3)将一幅训练图像输入到深度卷积小波网络中，输入图像的尺寸大小为96*96；(4)深度卷积小波网络的第一层为卷积层，该卷积层对每一幅输...

【技术特征摘要】
1.一种基于辅任务的深度卷积小波神经网络表情识别方法，其特征在于，包括有如下步骤：(1)搭建一个由三个卷积层，两个池化层，一个多尺度变换层，一个全连接层，一个softmax输出层的深度卷积小波网络；网络卷积层的偏置权值矩阵初始化为0矩阵，网络的激活函数选用的是Sigmoid函数；(2)建立人脸表情图像集和表情敏感区域图像集，表情敏感区域图像集由人脸表情图像集裁剪出眉眼和嘴巴部位获得，将人脸表情图像数据集中的一部分图像作为网络的训练图像集，剩余的图像作为测试图像集；(3)将一幅训练图像输入到深度卷积小波网络中，输入图像的尺寸大小为96*96；(4)深度卷积小波网络的第一层为卷积层，该卷积层对每一幅输入人脸表情训练图像做卷积操作，选择卷积核的个数为Q1，卷积核尺寸为7*7：(4a)采用随机初始化的方法配置卷积核的权值为[-0.5,0.5]之间的近零数；(4b)每个卷积核都对人脸表情图像进行卷积操作，获得Q1个卷积后的特征图，每个卷积核的特征图尺寸为90*90；(5)网络的第二层为池化层，该池化层将上一层卷积层得到的Q1个特征图作为输入，并进行池化操作：该池化层采用的池化方法是在不重叠的2*2区域内进行最大值的选择，得到该池化层的Q1个特征图，池化后特征图尺寸大小为45*45；(6)网络的第三层为卷积层，将上一层池化层得到的Q1个特征图作为输入，，进行卷积操作，该卷积层选择的卷积核个数为Q2，卷积核尺寸为6*6：(6a)采用随机初始化的方法配置卷积核的权值为[-0.5,0.5]之间的近零数；；(6b)每个卷积核都对这Q1个特征图进行卷积操作，然后将Q1个特征图卷积后的结果与偏置矩阵在激活函数滤波后进行平均求值，获得该卷积核的特征图，每个卷积核的特征图尺寸为40*40；(7)网络的第四层为池化层，该池化层将上一层卷积层得到的Q2个特征图作为输入，并进行池化操作：该池化层采用的池化方法是在不重叠的2*2区域内进行最大值的选择，得到该池化层的Q2个特征图，池化后特征图尺寸大小为20*20；(8)网络的第五层为卷积层，将上一层池化层得到的Q2个特征图作为输入，进行卷积操作，该卷积层选择的卷积核个数为Q3，卷积核尺寸为5*5：(8a)采用随机初始化的方法配置卷积核的权值为[-0.5,0.5]之间的近零数；(8b)每个卷积核都对这Q2个特征图进行卷积操作，然后将Q2个特征图卷积后的结果与偏置矩阵在激活函数滤波后进行平均求值，获得该卷积核的特征图谱，每个特征图的尺寸为16*16；(9)网络的第六层为小波池化层，该小波池化层将上一层卷积层得到的Q3个特征图作为输入，并做一层小波分解：采用的小波基函数是“haar”函数，对于每一个特征图，获得一个8*8的低频子带和三个8*8的高频子带，将三个高频子带对应位置取最大值，融合成一个新的高频子带；(10)网络的第七层为全连接层，将网络第六层小波池化层得到的Q3个8*8低频子带和Q3个8*8的高频子带作为输入，形成一个128维的全连接层特征向量；(11)以随机选择的n幅人脸表情图像为单位，重复步骤(3)到步骤(10)获得n幅图像各自的128维特征向量；(12)网络的第八层为Softmax输出层，将获得的n个128维的特征向量作为输入，训练一个输出为7类的概率分布Softmax分类器，获得分类标签；(13)Softmax输出层的分类标签与真实标签进行误差计算，按照BP反向传播算法，更新一次权值矩阵；(14)重复训练步骤(3)至(13)，直至权值矩阵被更新m次，获得训练好的深度卷积小波神经网络；(15)将人脸表情图像测试集带入训练好的深度卷积小波神经网络在输出层获得分类标签z1，再将测试数据集相应的表情敏感区域图像集带入训练好的深度卷积小波神经网络在输出层获得分类标签z2，把两个分类标签按照z3＝z...

【专利技术属性】
技术研发人员：白静，陈科雯，张景森，焦李成，缑水平，张向荣，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61