一种基于局部并行深度神经网络的表情识别方法技术

本发明专利技术涉及一种基于局部并行深度神经网络的表情识别方法，属于目标检测和计算机视觉技术领域。首先建立深度神经网络，再通过稀疏自编码器进行训练，然后对特征图进行池化，从而使特征图具有平移不变性，最后通过与表情相关的6个并行的5层网络得到最终的分类结果。本发明专利技术提出的局部并行深度神经网络的表情识别方法对测试集的人不出现在训练集中的情况有较好表现，更具有实用性。

An expression recognition method based on local parallel depth neural network

【技术实现步骤摘要】
一种基于局部并行深度神经网络的表情识别方法
本专利技术涉及一种基于局部并行深度神经网络的表情识别方法，属于目标检测和计算机视觉

技术介绍
计算机视觉的一个核心任务是使用具有鲁棒性的特征来表征复杂多变的图像信息，并忽略噪声部分。在大多数情况下相同身份不同表情之间的差异要小于不同身份相同表情之间的差异。20世纪7O年代美国心理学家Ekman和Friesent通过充分的测试实验，定义了人类的6种基本表情：高兴(Happy)、生气(Angry)、吃惊(Surprise)、恐惧(Fear)、厌恶(Disgust)和悲伤(Sad)，目前国外常用的表情识别方法简介如下：基于几何特征提取的方法：是指对嘴、眉毛、鼻子、眼睛等这些人脸表情的显著特征的形状和位置变化进行定位和测量，确定它的形状、大小、距离及相互比例，进行表情识别的方法。基于统计特征提取的方法：统计特征是基于图像的整体灰度特征，它强调尽可能多的保留原始人脸表情图像中的信息，通过对整幅人脸表情图像或其中特别的区域进行变换，以此获取人脸各种表情的特征来进行识别。但是在PCA中，只有图像数据当中的二阶统计信息被考虑到了，而高阶统计信息并没有利用到。基于频率域特征提取的方法：Gabor小波核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，它相当于一组窄带带通滤波器，其方向、基频带宽及中心频率均可以调节，具有明显的方向选择和频率选择特性。将人脸分为上下两个部分，在标成一个个的运动单元，运用Gabor小波对脸部运动单元进行识别，最后结合几何特征进行表情识别。基于运动和形变特征提取的方法：关注有面部表情引起的面部变化，一中性脸作为参考面，首先分析各个面部特征区域内的形变或运动信息，然后通过这些信息构建特征向量进行表情识别。基于模型的方法：以图像中人脸对象的形状和纹理结构为基础建立二维或三维模型，以此模型的参数来适配人脸图像中的人脸部分，这些模型的参数就是所提取的特征。
技术实现思路
本专利技术要解决的技术问题是提供一种基于局部并行深度神经网络的表情识别方法，用于解决上述问题。本专利技术的技术方案是：一种基于局部并行深度神经网络的表情识别方法，首先建立深度神经网络，再通过稀疏自编码器进行训练，然后对特征图进行池化，从而使特征图具有平移不变性，最后通过与表情相关的6个并行的5层网络得到最终的分类结果。所述通过稀疏自编码器进行训练之前，将人脸头像利用Adaboost方法定位双眼位置，自动裁剪出人脸图像，裁剪出人脸图像200张，数据来自于CK人脸表情库，再归一化到48×48大小的灰度图像，再在每一张人脸上随机选取30个14×14的图像块、30个18×18的图像块，2个尺度的图像块各约6000张，分别用来训练2个稀疏自编码器，提取169个14×14和256个18×18的卷积核；使用得到的稀疏自编码器的中间层神经元的连接权值作为卷积核，对整个图像进行卷积操作；fi(x)＝σ(conv(W，x)+α)其中conv(·)为卷积操作，σ(·)表示对整个图像操作，W为中间层神经元的连接权值，α为偏置系数；对特征图进行池化(max-pooling)操作，先将特征图划为L个区域qm(尽量等分)：卷积特征提取方法在每个卷积核的特征图上得到4×4个池化操作后的特征，这样，一共就得到16×(169+256)＝6800个特征；将这些特征作为训练样本，利用本专利技术提出的并行网络进行训练，训练时，每一个网络分为5层，第1层6800个神经元，第2层1000个神经元，第3层100个神经元，第4层10个神经元，第5层1个神经元，除最后一层的参数外，都利用SAE逐层预训练，对6类样本对应的网络使用相同的方法构建6个并行的网络，最后用整体的损失函数用BP算法进行微调。本专利技术的有益效果是：该局部并行深度神经网络的表情识别方法，在人脸表情识别中有很高的精度。附图说明图1是本专利技术的流程图；图2是本专利技术所采用的局部并行深度神经网络结构示意图；图3是本专利技术所采用的并行网络结构示意图。具体实施方式下面结合附图和具体实施方式，对本专利技术作进一步说明。实施例1：如图1-3所示，一种基于局部并行深度神经网络的表情识别方法，首先建立深度神经网络，再通过稀疏自编码器进行训练，然后对特征图进行池化，从而使特征图具有平移不变性，最后通过与表情相关的6个并行的5层网络得到最终的分类结果。所述通过稀疏自编码器进行训练之前，将人脸头像利用Adaboost方法定位双眼位置，自动裁剪出人脸图像，裁剪出人脸图像200张，数据来自于CK人脸表情库，再归一化到48×48大小的灰度图像，再在每一张人脸上随机选取30个14×14的图像块、30个18×18的图像块，2个尺度的图像块各约6000张，分别用来训练2个稀疏自编码器，提取169个14×14和256个18×18的卷积核；使用得到的稀疏自编码器的中间层神经元的连接权值作为卷积核，对整个图像进行卷积操作；fi(x)＝σ(conv(W，x)+α)其中conv(·)为卷积操作，σ(·)表示对整个图像操作，W为中间层神经元的连接权值，α为偏置系数；对特征图进行池化(max-pooling)操作，先将特征图划为L个区域qm(尽量等分)：卷积特征提取方法在每个卷积核的特征图上得到4×4个池化操作后的特征，这样，一共就得到16×(169+256)＝6800个特征；将这些特征作为训练样本，利用本专利技术提出的并行网络进行训练，训练时，每一个网络分为5层，第1层6800个神经元，第2层1000个神经元，第3层100个神经元，第4层10个神经元，第5层1个神经元，除最后一层的参数外，都利用SAE逐层预训练，对6类样本对应的网络使用相同的方法构建6个并行的网络，最后用整体的损失函数用BP算法进行微调。6个并行网络分别对应高兴、生气、吃惊、恐惧、厌恶和悲伤。并行网络响应利用步骤3中的方法提取到的多尺度卷积特征，某一个网络响应最高，即样本属于相应的网络代表的那一类表情。并行网络结构如图三所示，其中每类样本都对应一个神经网络，每个神经网络训练时只使用对应类的样本，每个神经网络总共5层，最后一层只有一个神经元，其值代表该类网络对样本的响应，值越高，样本属于该类的概率越大。以上结合附图对本专利技术的具体实施方式作了详细说明，但是本专利技术并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本专利技术宗旨的前提下作出各种变化。本文档来自技高网...

【技术保护点】
1.一种基于局部并行深度神经网络的表情识别方法，其特征在于：首先建立深度神经网络，再通过稀疏自编码器进行训练，然后对特征图进行池化，从而使特征图具有平移不变性，最后通过与表情相关的6个并行的5层网络得到最终的分类结果。

【技术特征摘要】
1.一种基于局部并行深度神经网络的表情识别方法，其特征在于：首先建立深度神经网络，再通过稀疏自编码器进行训练，然后对特征图进行池化，从而使特征图具有平移不变性，最后通过与表情相关的6个并行的5层网络得到最终的分类结果。2.根据权利要求1所述的基于局部并行深度神经网络的表情识别方法，其特征在于：所述通过稀疏自编码器进行训练之前，将人脸头像利用Adaboost方法定位双眼位置，自动裁剪出人脸图像，裁剪出人脸图像200张，数据来自于CK人脸表情库，再归一化到48×48大小的灰度图像，再在每一张人脸上随机选取30个14×14的图像块、30个18×18的图像块，2个尺度的图像块各约6000张，分别用来训练2个稀疏自编码器，提取169个14×14和256个18×18的卷积核；使用得到的稀疏自编码器的中间层神经元的连接权值作...

【专利技术属性】
技术研发人员：刘辉，杨旭，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53