基于曲波变换和稀疏学习的人脸表情识别方法技术

本发明专利技术公开了一种基于曲波变换和稀疏学习的人脸表情识别方法。本发明专利技术步骤如下：1.输入人脸表情图像并进行预处理，对预处理后的人脸表情图像进行眼部区域、嘴巴区域的剪裁与获取；2.通过Curvelet变换对人脸表情特征进行提取：对预处理后的人脸表情图像、眼部区域、嘴巴区域进行Curvelet变换和特征提取，并将提取的三种特征进行串联融合，获得融合特征；3.基于稀疏学习的分类识别：对人脸曲波特征以及融合特征分别采用SRC进行分类识别；或者对人脸曲波特征以及融合特征分别采用FDDL进行分类识别。本发明专利技术采用的Curvelet变换是多尺度几何分析工具，能够提取到多尺度多方向的特征，同时采用局部区域融合的方法，使连接融合后的特征更具有图像表征能力和特征鉴别力。

Facial expression recognition method based on Qu Bo transform and sparse learning

The invention discloses a facial expression recognition method based on Qu Bo transform and sparse learning. The invention comprises the following steps: 1. input face image and pre-processing of facial expression image preprocessing after clipping and acquisition of eye area and mouth regions; 2. by Curvelet transform of facial expression feature extraction: Curvelet transform and feature extraction of facial expression image, area of eye area and mouth after pretreatment, and three kinds of feature extraction in tandem fusion, obtain the fusion feature; 3. classification recognition based on sparse learning: to face Qu Bo feature and feature fusion using SRC classification; or to face Qu Bo feature and feature fusion using FDDL classification. Curvelet transform is adopted in the invention of multiscale geometric analysis tools, can extract the features of multi-scale and multi direction, at the same time by using the method of regional integration, which is connected to the fused features with image representation and feature discrimination.

【技术实现步骤摘要】
基于曲波变换和稀疏学习的人脸表情识别方法
本专利技术属于计算机视觉
，尤其是涉及一种人脸表情识别方法。属于人脸表情特征提取和分类识别领域。
技术介绍
人脸表情识别是情感计算和智能人机交互的关键组成部分，也是计算机视觉和生物识别中的重要研究方向。它主要是研究如何自动、可靠、高效地利用人脸表情所传达的信息，在医疗健康、交通安全、公众安全、智能机器人、教育领域、游戏娱乐等领域有着广泛的应用。人脸表情识别的探索研究不仅有利于促进人机交互的自然和谐，还有利于推动人工智能相关技术的发展。人脸表情识别的研究内容主要包括图像获取、图像预处理、表情特征提取和分类识别，这些也是人脸表情识别的过程。其中，表情特征提取和分类识别是关键。表情特征提取是指从含有面部表情的图像中获取到表情的整体信息和细微局部信息，并以此来表达出相应的表情状态。目前，表情特征提取算法可以分为以下几种：(1)基于形状特征的提取方法，它是指通过标记在面部表情特征点的几何形状关系来获取情感状态特征信息。面部中的眉毛、眼睛、鼻子、嘴巴能够丰富的表现出表情状态，这些器官会随着不同表情的出现发生形变。通常是对这些关键点进行特征提取，其特征包括器官的位置、尺度和器官之间的比率等，或者将这些关键部分从人脸区域裁剪出来，将这些特征组成一组矢量来表示表情特征。这种特征对内存需求小，但有时要求提取的特征点要十分准确，需要手工定位。(2)基于纹理特征的提取方法，它是指获取到表情图像中含有情感状态的内在信息，以获得描述面部整体或者局部变化的表情特征。该方法具有计算简单快捷，特征信息较丰富，但易受光照和噪声等其他因素的影响。例如局部二值法，Gabor小波。(3)基于混合特征的方法，混合特征是将局部特征和全局特征结合起来作为表情的特征。(4)基于运动特征序列的提取方法，常用于提取动态表情特征。分类识别是指在表情特征提取后，将未知表情图像的特征通过分类器划分为相应的已知类别。依据机器学习相关技术的特性，主要可以分为基于距离度量、基于贝叶斯网络、基于神经网络和基于稀疏表示的分类方法。
技术实现思路
本专利技术提供一种新的人脸表情识别方法——基于曲波变换和稀疏学习的人脸表情识别方法。曲波变换(CurveletTransform)是一种多分辨率、带通、具有方向性的函数分析方法。它不但保留了小波方法的多尺度特点,同时还具有各向异性特点,能够很好地逼近奇异曲线，更具有良好描述图形边缘信息的能力，比较适合处理具有丰富曲线信息的人脸等图像。稀疏学习主要包含稀疏表示和字典学习等方法。稀疏表示在机器学习和计算机视觉领域备受关注，其在人脸识别、图像分类等方面的性能表现非常突出，主要原因是该理论中需要一个能够准确地描述图像内在结构信息和本质属性的超完备字典，并用尽稀疏的数据表示图像信息。字典学习是利用训练样本的先验知识学习出一组性能更佳的基向量，使字典更利于分类。本专利技术基于曲波变换和稀疏学习的人脸表情识别方法，其步骤如下：步骤S1：输入人脸表情图像后对图像进行预处理，并对预处理后的人脸表情图像进行眼部区域、嘴巴区域的剪裁与获取；步骤S2：通过Curvelet变换对人脸表情特征进行提取。分别对预处理后的人脸表情图像、眼部区域、嘴巴区域进行Curvelet变换，依次获得人脸区域的Curvelet特征(Curveletface)、眼部区域的Curvelet特征(Curveleteye)、嘴巴区域的Curvelet特征(Curveletmouth)，并将Curveletface、Curveleteye和Curveletmouth特征进行串联融合，获得融合特征Curveletface+eye+mouth。步骤S3：基于稀疏学习的分类识别，具体的：对人脸曲波特征Curveletface以及融合特征Curveletface+eye+mouth分别采用稀疏表示分类(SparseRepresentation-basedClassifier，SRC)进行分类识别；或者对人脸曲波特征Curveletface以及融合特征Curveletface+eye+mouth分别采用基于Fisher判别的字典学习(FisherDiscriminationDictionaryLearning，FDDL)进行分类识别。步骤S1所述的人脸表情图像预处理具体如下：人脸表情图像预处理包括表情区域的定位和裁剪、倾斜校正、尺寸归一化和光照均衡化。表情区域的定位和裁剪，即人脸检测与定位是在输入的表情图像中快速准确地找出人脸的过程，并定位眼睛，然后根据先验知识裁剪出人脸表情区域，这是对表情图像预处理的第一步，是后续工作的基础环节。倾斜校正、尺寸归一化是为了解决图像形变问题。滤波和光照均衡化是为了去除噪声和光照变化的问题。总之，图像预处理就是为了消除噪声、背景、光照、角度等非表情因素的影响，而采取各种不同的技术处理图像，消除这些干扰影响的因素，使得图像的质量有所提高，以利于提取有效的信息，从而提高识别率。步骤S2所述的通过曲波变换对人脸表情特征进行提取，具体如下：(1)一幅人脸表情图像预处理后尺寸大小归一化为100×100，Curvelet变换尺度经由公式log2(min(M,N))-3，其中M、N分别为人脸表情图像的长度和宽度。在进行4尺度分解后可以得到相应的低频系数、细节1层系数、细节2层系数和高频系数。第一尺度即低频部分表示的是人脸的概貌，大部分脸部能量集中在这一尺度，不含有方向信息,低频系数大小为17×17；第四尺度即高频部分表示的是人脸的轮廓信息，所含的能量比较少，因此一般也不分方向,高频系数大小为100×100；第二、第三尺度是细节层部分，含有丰富的方向信息，细节层系数其中细节1层分为16个方向，包含8个14×17/17×14和8个12×17/17×12的系数矩阵，细节2层分为32个方向，包含8个27×17/17×27、16个25×18/18×25和8个25×17/17×25的系数矩阵。(2)人脸表情图像中贡献率较大的主要有眼部区域和嘴巴区域，依次经过Curvelet变换提取得到相应的Curvelet特征，即Curveleteye和Curveletmouth。然后分别将人脸区域的Curvelet特征Curveletface与局部区域的Curvelet特征(眼部区域的Curvelet特征Curveleteye、嘴巴区域的Curvelet特征Curveletmouth)连接融合起来，融合后的特征向量为Curveletface+eye+mouth。因为人脸表情变换主要体现在眼部区域和嘴巴区域，将两者的Curvelet特征向量和人脸区域的Curvelet特征向量融合起来，相当于对这两个区域进行了加权处理，增强了对人脸表情识别贡献率比较大区域的权重。步骤S3所述的基于稀疏学习的分类识别，具体如下：基于SRC的人脸表情识别是得到未知表情图像关于超完备字典的线性组合，该线性组合主要为了获得待测图像由超完备字典同类样本表示的非零线性表示系数，且其他不同类别的线性表示系数为零。然后由所有类的系数重构的待测表情图像与原待测表情图像误差最小的类则判别为所属类别。其中，超完备字典的构成是以最大可能性地涵盖待测表情图像特征信息的样本集，是由全部训练样本组成，字典本文档来自技高网...

【技术保护点】
基于曲波变换和稀疏学习的人脸表情识别方法，具体包括如下步骤：步骤S1：输入人脸表情图像后对图像进行预处理，并对预处理后的人脸表情图像进行眼部区域、嘴巴区域的剪裁与获取；步骤S2：通过Curvelet变换对人脸表情特征进行提取；分别对预处理后的人脸表情图像、眼部区域、嘴巴区域进行Curvelet变换，依次获得人脸区域的Curvelet特征Curveletface、眼部区域的Curvelet特征Curveleteye、嘴巴区域的Curvelet特征Curveletmouth，并将Curveletface、Curveleteye和Curveletmouth特征进行串联融合，获得融合特征Curveletface+eye+mouth。步骤S3：基于稀疏学习的分类识别，具体的：对人脸曲波特征Curveletface以及融合特征Curveletface+eye+mouth分别采用稀疏表示分类即SRC进行分类识别。

【技术特征摘要】
1.基于曲波变换和稀疏学习的人脸表情识别方法，具体包括如下步骤：步骤S1：输入人脸表情图像后对图像进行预处理，并对预处理后的人脸表情图像进行眼部区域、嘴巴区域的剪裁与获取；步骤S2：通过Curvelet变换对人脸表情特征进行提取；分别对预处理后的人脸表情图像、眼部区域、嘴巴区域进行Curvelet变换，依次获得人脸区域的Curvelet特征Curveletface、眼部区域的Curvelet特征Curveleteye、嘴巴区域的Curvelet特征Curveletmouth，并将Curveletface、Curveleteye和Curveletmouth特征进行串联融合，获得融合特征Curveletface+eye+mouth。步骤S3：基于稀疏学习的分类识别，具体的：对人脸曲波特征Curveletface以及融合特征Curveletface+eye+mouth分别采用稀疏表示分类即SRC进行分类识别。2.根据权利要求1所述的基于曲波变换和稀疏学习的人脸表情识别方法，其特征在于步骤S3所述的基于稀疏学习的分类识别还能采用如下方式：对人脸曲波特征Curveletface以及融合特征Curveletface+eye+mouth分别采用基于Fisher判别的字典学习进行分类识别。3.根据权利要求1或2所述的基于曲波变换和稀疏学习的人脸表情识别方法，其特征在于步骤S1所述的人脸表情图像预处理具体如下：人脸表情图像预处理包括表情区域的定位和裁剪、倾斜校正、尺寸归一化和光照均衡化；表情区域的定位和裁剪，即人脸检测与定位是在输入的表情图像中快速准确地找出人脸的过程，并定位眼睛，然后根据先验知识裁剪出人脸表情区域，倾斜校正、尺寸归一化是为了解决图像形变问题；滤波和光照均衡化是为了去除噪声和光照变化的问题。4.根据权利要求3所述的基于曲波变换和稀疏学习的人脸表情识别方法，其特征在于步骤S2所述的通过曲波变换对人脸表情特征进行提取，具体如下：(1)一幅人脸表情图像预处理后尺寸大小归一化为100×100，Curvelet变换尺度经由公式log2(min(M,N))-3，其中M、N分别为人脸表情图像的长度和宽度；在进行4尺度分解后可以得到相应的低频系数、细节1层系数、细节2层系数和高频系数；第一尺度即低频部分表示的是人脸的概貌，大部分脸部能量集中在这一尺度，不含有方向信息,低频系数大小为17×17；第四尺度即高频部分表示的是人脸的轮廓信息，所含的能量比较少，因此一般也不分方向,高频系数大小为100×100；第二、第三尺度是细节层部分，含有丰富的方向信息，细节层系数其中细节1层分为16个方向，包含8个14×17/17×14和8个12×17/17×12的系数矩阵，细节2层分为32个方向，包含8个27×17/17×27、16个25×18/18×25和8个25×17/17×25的系数矩阵；(2)人脸表情图像中贡献率较大的主要有眼部区域和嘴巴区域，依次经过Curvelet变换提取得到相应的Curvelet特征，即Curveleteye和Curveletmouth；然后分别将人脸区域的Curvelet特征Curveletface与局部区域的Curvelet特征连接融合起来，融合后的特征向量为Curveletface+eye+mouth；将人脸区域的Curvelet特征Curveletface与局部区域的Curvelet特征融合起来，相当于对这两个区域进行了加权处理，增强了对人脸表情识别贡献率比较大区域的权重；所述的...

【专利技术属性】
技术研发人员：付晓峰，付克博，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33