一种基于深度学习的人脸表情识别方法技术

本发明专利技术公开了一种基于深度学习的人脸表情识别方法，首先将获得的视频信号分解为图像序列，建立肤色模型进行肤色检测并去除背景区域；然后采用空间肤色模型的人脸检测算法，训练人脸分类器并对候选肤色区域进行人脸检测，得到人脸区域；接着对人脸区域图像进行仿射变换、校正等预处理得到人脸表情图像；最后从表情图像中提取LBP特征，用深度信念网络对其进行学习和训练，得到更高层次的抽象特征，将其作为分类器来进行人脸表情识别。该发明专利技术可以被广泛应用在公共安全、心理测谎，智能家居等场景，计算机可以通过识别表情来为人类提供更加人性化的服务。有着非常广泛的应用场景以及非常好的应用前景。

A facial expression recognition method based on deep learning

This invention discloses a facial expression recognition method based on deep learning. First, the obtained video signal is decomposed into image sequence, skin color model is established to detect skin color and remove the background area. Then, the face detection algorithm of the space skin color model is used to train the face classification device and carry out the face of the candidate skin area. The face area is detected, and then the face image is preprocessed by affine transformation and correction. Finally, the LBP features are extracted from the facial expression image, and the depth belief network is used to learn and train it, and the higher level of abstract features are obtained. No, no. The invention can be widely used in public security, psychological lie detection, intelligent home and other scenes, and computers can provide humanity with more humanized services by identifying expressions. It has a very wide application scenario and a very good application prospect.

【技术实现步骤摘要】
一种基于深度学习的人脸表情识别方法
：本专利技术属于设智能图型分析
，特别涉及一种基于深度学习的人脸表情识别方法。
技术介绍
：随着技术的发展，人脸表情识别逐渐成为了研究的热门方向。在人与人之间的交流当中，人脸表情所传递的信息占据着相当大的比重。人脸表情映射着人类内心世界丰富的情感活动，是人体行为信息与情感的重要载体。对人脸表情识别进行更为深入的研究，能够帮助我们更好的了解人类内心情感的真实状态。而对于计算机来说，如果可以通过技术手段做到类似人类那样具有分析和理解人脸表情、获取人脸所表达的情感，那么就可以使计算机实现效果更好的人机交互，从而更加智能的、高效的为人类服务。经过多年的发展，围绕人脸表情识别的研究已经有很多，研究者们也提出了各种不同而有效的方法。目前，由于深度学习方法具有无监督特征学习能力的突出优点，深度学习的应用也越来越多。但是，对于深度学习在人脸表情识别方面的应用研究，国内外还很少见。研究如何将深度学习的方法有效应用于人脸表情识别既是对表情识别研究领域的一种方法的拓展与提高，也是对深度学习应用领域的拓展。公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
：本专利技术的目的在于提供基于深度学习的人脸表情识别方法，从而克服上述现有技术中的缺陷。为实现上述目的，本专利技术提供了基于深度学习的人脸表情识别方法，包括如下步骤：S1、实时获取视频信号，将视频信号分解为按时间排序的图像序列；S2、对S1得到的图像序列，中值滤波后转换到YCgCr颜色空间，并建立肤色模型，对图像进行肤色检测，并进行形态学处理后去除背景区域，获得候选肤色区域；S3、基于S2的肤色检测，采用Adaboost算法训练基于Haar-like特征的人脸分类器对候选肤色区域进行人脸检测，得到人脸区域；S4、对S2得到的人脸区域图像进行预处理得到人脸表情图像，其中预处理包括：仿射变换、Gamma校正、图像剪裁、归一化；S5、从人脸表情图像中提取LBP特征，用深度信念网络DBNs对初级特征和LBP进行学习和训练，得到更高层次的抽象特征；S6、在DBNs训练完成之后，将其最后一层隐层的网络权重最优值用于初始化传统多层感知器MLP模型的隐层网络权重值，被初始化的MLP模型具有和DNBS模型相同的参数；S7、使用初始化的MLP模型作为分类器来进行人脸表情识别，即把深度信念网络与多层感知器融合起来进行人脸表情识别。S8、预先设定7种基本表情，高兴、悲伤、愤怒、恐惧、惊讶、厌恶、自然，如果识别为悲伤、愤怒的表情，则向终端设备发出警报。本专利技术进一步限定的技术方案为：优选地，上述技术方案中，S2在YCgCr颜色空间下的建立肤色模型，对图像进行肤色检测，获得候选肤色区域，其过程如下：S2.1通过如下公式将S1的图像序列转换到YCgCr颜色空间:其中Y表示明亮度，Cg和Cr表示色度，RGB表示红、绿、蓝三个通道的颜色，R、G、B取值范围均为0～255。S2.2皮肤颜色在YCgCr颜色空间呈高斯分布，建立高斯肤色模型，获得灰度图像，其中高斯分布函数ρ(Cg，Cr)表达式为：ρ(Cg，Cr)＝exp[-0.5(a-M)TC-1(a-M)]；其中a是肤色样本在YCgCr颜色空间中的值，M为肤色样本像素在YCgCr颜色空间中的均值，C为肤色相似度协方差矩阵，均值M和协方差矩阵C可通过以下公式求出：m＝E(a)，a＝(Cr，Cg)T，C＝E[(a-m)(a-m)T]；肤色高斯模型中均值M和协方差矩阵C一般取值为：M＝[116.09148.7319]；2.3按照一定阈值对灰度图像进行二值化操作，大于阈值的像素点置为1表示肤色区域，小于阈值的像素点置为0表示非肤色区域；2.4对二值化处理后采用先膨胀后腐蚀的形态学操作，得到候选肤色区域。优选地，上述技术方案中，S3中采用Adaboost算法训练基于Haar-like特征的人脸分类器，首先选取与人脸灰度分布有较好耦合性的Haar-like特征用来表示人脸，每一个Haar-like特征都是一个弱分类器，通过Adaboost算法将这些若弱分类器进行有效的组合，获得可用于人脸检测的强分类器，最后将训练好的人脸分类器用于候选肤色区域检测判断是否存在人脸。优选地，上述技术方案中，其中人脸分类器的训练又分为以下步骤：S3.1提取Haar-like特征，Haar-like特征由黑白矩形区域组成，其特征值为白色矩形区域内像素值的和与黑色矩形区域内像素值的和的差值，Haar-like特征表达式如下：其中h表示弱分类器的值，若h的值为1表示此区域是人脸，值为0则表示此区域为非人脸，k是待检测子窗口，f(k)表示子窗口k的特征值计算函数，ρ是一个符号因子，θ是分类器的阈值；根据该表达式获得表情图像的Haar-like特征；S3.2Haar-like特征的积分图计算，采用积分图的方法计算图像的Haar-like特征，图像序列中点(i,j)处的积分图的值ii(i,j)是点(i,j)与图像原点组成区域内所有像素的和，S3.3构造分类器，Adaboost算法通过迭代的方法从众多的Haar-like特征中挑选出合适的特征，然后将这些挑选出来的弱分类器组合得到分类能力很强的强分类器；对待检测的图像进行人脸检测时，需要遍历图像中固定大小的所有矩形区域，并计算不同尺度下的Haar-like特征，并且Haar-like特征数量众多，在这样的情况下检测一副图像的人脸区域需要花费大量的时间。优选地，上述技术方案中，S3.2中积分图的构建过程如下：S3.2.1用s(i,j)表示行方向的累加和，初始化s(i,-1)＝0；S3.2.2用ii(i,j)表示一个积分图像，初始化ii(-1,i)＝0；S3.2.3逐行扫描图像，递归计算每个像素(i,j)行方向的累加和s(i,j)和积分图像ii(i,j)的值s(i,j)＝s(i,j-1)+f(i,j)；ii(i,j)＝ii(i-1,j)+s(i,j)；S3.2.4扫描图像一遍，当到达图像右下角像素时，积分图像ii就构造好了。S3.3中训练弱分类器迭代过程如下:选定n个训练样本：(x1，y1),(x2，y2)，......，(xn，yn)；其中xi表示输入的待训练图像，而yi∈{0，1}表示该训练样本为非人脸(yi＝0)或者人脸(yi＝1)；首先对样本权重进行初始化：对所有的yi∈{0，1}，其权值有其中m表示负样本的个数，l表示正样本的个数，m+l＝n。对于t＝1,2,3,…….,T(T为迭代次数)，进行以下循环：S3.3.1首先归一化权值：使得ωt，i>0，其中ωt，i表示概率分布；S3.3.2计算弱分类器hj的分类误差εj＝∑ωi|h(xi)-yi|；S3.3.3挑选出分类错误最小的分类器ht；S3.3.4按照弱样本xi被正确分类，ei取0，否则ei为1的原则更新权值：其中S3.3.5最后输出强分类器：优选地，上述技术方案中，S4中采用仿射变换对检测到的人脸区域进行旋转校正，使得人脸的两只眼睛在同一水平线上，从而使人脸进行对齐,大大提高恃征的有效性；S4中采用Gamma校正来对人脸区域图像进行光本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸表情识别方法，其特征在于，包括如下步骤：S1、实时获取视频信号，将视频信号分解为按时间排序的图像序列；S2、对S1得到的图像序列，中值滤波后转换到YCgCr颜色空间，并建立肤色模型，对图像进行肤色检测，并进行形态学处理后去除背景区域，获得候选肤色区域；S3、基于S2的肤色检测，采用Adaboost算法训练基于Haar‑like特征的人脸分类器对候选肤色区域进行人脸检测，得到人脸区域；S4、对S2得到的人脸区域图像进行预处理得到人脸表情图像，其中预处理包括：仿射变换、Gamma校正、图像剪裁、归一化；S5、从人脸表情图像中提取LBP特征，用深度信念网络DBNs对初级特征和LBP进行学习和训练，得到更高层次的抽象特征；S6、在DBNs训练完成之后，将其最后一层隐层的网络权重最优值用于初始化传统多层感知器MLP模型的隐层网络权重值，被初始化的MLP模型具有和DNBS模型相同的参数；S7、使用初始化的MLP模型作为分类器来进行人脸表情识别，即把深度信念网络与多层感知器融合起来进行人脸表情识别。S8、预先设定7种基本表情，高兴、悲伤、愤怒、恐惧、惊讶、厌恶、自然，如果识别为悲伤、愤怒的表情，则向终端设备发出警报。...

【技术特征摘要】
1.一种基于深度学习的人脸表情识别方法，其特征在于，包括如下步骤：S1、实时获取视频信号，将视频信号分解为按时间排序的图像序列；S2、对S1得到的图像序列，中值滤波后转换到YCgCr颜色空间，并建立肤色模型，对图像进行肤色检测，并进行形态学处理后去除背景区域，获得候选肤色区域；S3、基于S2的肤色检测，采用Adaboost算法训练基于Haar-like特征的人脸分类器对候选肤色区域进行人脸检测，得到人脸区域；S4、对S2得到的人脸区域图像进行预处理得到人脸表情图像，其中预处理包括：仿射变换、Gamma校正、图像剪裁、归一化；S5、从人脸表情图像中提取LBP特征，用深度信念网络DBNs对初级特征和LBP进行学习和训练，得到更高层次的抽象特征；S6、在DBNs训练完成之后，将其最后一层隐层的网络权重最优值用于初始化传统多层感知器MLP模型的隐层网络权重值，被初始化的MLP模型具有和DNBS模型相同的参数；S7、使用初始化的MLP模型作为分类器来进行人脸表情识别，即把深度信念网络与多层感知器融合起来进行人脸表情识别。S8、预先设定7种基本表情，高兴、悲伤、愤怒、恐惧、惊讶、厌恶、自然，如果识别为悲伤、愤怒的表情，则向终端设备发出警报。2.根据权利要求1所述的一种基于深度学习的人脸表情识别方法，其特征在于，S2在YCgCr颜色空间下的建立肤色模型，对图像进行肤色检测，获得候选肤色区域，其过程如下：S2.1通过如下公式将S1的图像序列转换到YCgCr颜色空间:其中Y表示明亮度，Cg和Cr表示色度，RGB表示红、绿、蓝三个通道的颜色，R、G、B取值范围均为0～255。S2.2皮肤颜色在YCgCr颜色空间呈高斯分布，建立高斯肤色模型，获得灰度图像，其中高斯分布函数ρ(Cg，Cr)表达式为：ρ(Cg，Cr)＝exp[-0.5(a-M)TC-1(a-M)]；其中a是肤色样本在YCgCr颜色空间中的值，M为肤色样本像素在YCgCr颜色空间中的均值，C为肤色相似度协方差矩阵，均值M和协方差矩阵C可通过以下公式求出：m＝E(a)，a＝(Cr，Cg)T，C＝E[(a-m)(a-m)T]；肤色高斯模型中均值M和协方差矩阵C一般取值为：M＝[116.09148.7319]；2.3按照一定阈值对灰度图像进行二值化操作，大于阈值的像素点置为1表示肤色区域，小于阈值的像素点置为0表示非肤色区域；2.4对二值化处理后采用先膨胀后腐蚀的形态学操作，得到候选肤色区域。3.根据权利要求1所述的一种基于深度学习的人脸表情识别方法，其特征在于，S3中采用Adaboost算法训练基于Haar-like特征的人脸分类器，首先选取与人脸灰度分布有较好耦合性的Haar-like特征用来表示人脸，每一个Haar-like特征都是一个弱分类器，通过Adaboost算法将这些若弱分类器进行有效的组合，获得可用于人脸检测的强分类器，最后将训练好的人脸分类器用于候选肤色区域检测判断是否存在人脸。4.根据权利要求3所述的一种基于深度学习的人脸表情识别方法，其特征在于，其中人脸分类器的训练又分为以下步骤：S3.1提取Haar-like特征，Haar-like特征由黑白矩形区域组成，其特征值为白色矩形区域内像素值的和与黑色矩形区域内像素值的和的差值，Haar-like特征表达式如下：其中h表示弱分类器的值，若h的值为1表示此区域是人脸，值为0则表示此区域为非人脸，k是待检测子窗口，f(k)表示子窗口k的特征值计算函数，ρ是一个符号因子，θ是分类器的阈值；根据该表达式获得表情图像的Haar-like特征；S3.2Haar-like特征的积分图计算，采用积分图的方法计算图像的Haar-like特征，图像序列中点(i,j)处的积分图的值ii(i,j)是点(i,j)与图像原点组成区域内所有像素的和，S3.3构造分类器，Adaboost算法通过迭代的方法从众多的Haar-like特征中挑选出合适的特征，然后将这些挑选出来的弱分类器组合得到分类能力很强的强分类器；对待检测...

【专利技术属性】
技术研发人员：张晖，杨纯，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32