一种基于多特征多任务字典稀疏迁移学习的微表情识别方法技术

本发明专利技术涉及一种基于多特征多任务字典稀疏迁移学习的微表情识别方法，包括训练阶段和测试阶段。本发明专利技术通过投影的方式将宏表情和微表情投影到公共空间内，并且为了简化计算，提高效率，对投影后的数据进行稀疏字典表示；为了进一步缩小两个域的数据差距，考虑将两个域的字典进行彼此之间的重构从而实现了字典的关联性，这样使得投影后的稀疏表示矩阵产生了更大的相关性；为了充分表现微表情的特点，本发明专利技术对微表情提取四种不同的特征，通过多特征选择最优组合；为了能凸显出微表情的细节表现，本发明专利技术引入多任务的思想，进一步提升了识别效果。

A micro expression recognition method based on multi feature and multi task dictionary sparse transfer learning

The invention relates to a microexpression recognition method based on multi-feature and multi-task dictionary sparse transfer learning, including training phase and testing phase. In order to simplify calculation and improve efficiency, the projected data is sparsely represented by a dictionary; in order to further narrow the data gap between the two domains, the dictionaries of the two domains are reconstructed to each other to realize the dictionary. In order to fully represent the characteristics of micro-expressions, the present invention extracts four different features from micro-expressions and selects the best combination by multi-features; and in order to highlight the detailed expression of micro-expressions, the present invention introduces the idea of multi-tasks into the first step. Step improves recognition effect.

【技术实现步骤摘要】
一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
本专利技术涉及一种基于多特征多任务字典稀疏迁移学习的微表情识别方法，属于模态识别以及机器学习的

技术介绍
微表情是人们在抑制状态下或者试图隐藏真实情感时泄露的一种时间极短、不由自主的面部表情。1966年，Haggard和Issacs首次发现了这种细微的表情。传统意义的人脸表情(我们称之为宏表情)具有较大的修饰性，一个正常的成年人可以在经过大脑思考之后再呈现出令他满意的表情，而微表情是电光火石之间不经意流露出来的表情，是一个人最真实的情感泄露，因此很难经过大脑的“筛查”，所以微表情更容易暴露一个人的真正内心活动，由于微表情存在该特点，其被认定是一种可靠的侦测谎言的线索。虽然微表情概念提出较早，但是由于其自身特点一直难以被捕捉、量化，因此在相当长的时间内，微表情的研究缓慢而平淡。2002年，微表情研究取得了巨大进展，Ekman等人开发了微表情训练工具(MicroExpressionTrainingTool，METT)，该工具提供了微表情训练模式，并将微表情分为常见的七种分类，该工具有效的提高了微表情识别能力。随着人脸表情算法的进步，微表情的研究工作取得了长足的进步。随着微表情研究的深入开展，微表情识别技术取得了长足的进步。目前的识别方法主要分为两类：1.应变模式方法；2.机器学习类方法。应变模式方法主要是关注面部肌肉的应变响应，Godavarthy等人提出了一种计算连续帧之间的光流阈值方法来检测微表情，通过计算各帧域中性表情帧的光流域光流应变值来判断是否满足微表情；Shreve团队将人脸图像进行区域分割并且结合光流法，使用局部阈值策略计算每个区域的细微变化。机器学习方法主要有分类和聚类方法。吴等通过采用Gabor滤波器，选择使用Gentleboost算法，使用SVM分类器识别微表情；Polikovsky等人将人脸划为12个感兴趣域，提取各个区域的三维梯度方向直方图作为描述子，用局部的直方图描述特征。传统的机器学习中，为了能得到较好的预估结果，要有两个基本要素：第一是预测数据和训练数据满足同分布；第二要有足够数量的样本数量。但在实际问题解决中，这两个条件几乎很难同时满足。在新环境下，新数据呈现了独有的特性，这导致了以往的数据往往不可以完全信任。例如，股票的发展趋势，我们很难根据过去的数据去模拟未来发展趋势；同时我们获得的新数据往往不具有完整的标签，这使我们很难直接利用数据库去训练模型。在这种背景下，迁移学习理论应运而生，迁移学习指的是利用以往的知识A，去解决相似的知识B，把通过A训练好的模型参数迁移到新的模型中帮助新模型训练。因为大部分的数据或任务是存在相关性的，所以可以借用旧的知识加速学习过程。目前各类微表情数据库均存在数量较少、并且样本标签信息不完整的问题，因此难以训练一个有效的模型，考虑到传统的人脸表情数据库样本数量丰富，通过迁移学习将人脸宏表情和微表情建立联系，并实现知识转移，将有助于提升微表情的识别效果。将迁移学习理论应用到微表情的识别中尚属空白，而应用于其他领域的迁移学习框架在小样本库、标签信息不完整的微表情识别中效果也不理想。微表情的特征提取手段多种多样，不同的特征反映了微表情不同层面的特点，从多种特征中选择最有效的特征组合将会比单一的特征更加全面的反应微表情特点，多特征思想就是从多种特征中通过一定方法选择出优秀的特征组合，实现更加出色的性能表现；人脸面部表情被划分为多个区域块的AU单元，每一个局部的变化都至关重要，基于面部整体的特征提取往往湮没了局部细节特点，多任务思想将人脸划分为多块局部区域，通过给予不同区域块不同的权重，突出局部细节特点。
技术实现思路
针对目前从宏表情到微表情的迁移学习空白的技术问题，本专利技术提出了一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法。本专利技术与其他识别方法相比，首次实现了宏表情到微表情的识别，同时将多特征和多任务应用其中，识别性能得到有效提高。术语解释：1、LBP特征：LBP指局部二值模式，英文全称：LocalBinaryPattern，是一种用来描述图像局部特征的算子，LBP特征具有灰度不变性和旋转不变性等显著优点。2、光流特征，光流(OpticalFlow)法是目前运动图像分析的重要方法，它的概念是由Gibso于1950年首先提出的，光流描述的是物体运动时的瞬时速度，反映了图像序列中像素在时间域上的变化以及相邻帧之间的差异，计算相邻帧之间物体的运动信息。3、LBP-TOP特征，LBP-TOP(LocalBinaryPatternsFromThreeOrthognalPlanes)三正交平面局部二值模式。LBP-TOP是基于LBP原理的另一种改进方法，其最早由芬兰奥卢大学的赵国英等人提出。4、VLBP特征，VLBP(VolumeLocalBinaryPatterns),卷积局部二值模式。LBP算子无法描述动态图片序列的变化过程，为了将空间上的纹理信息和时间上的运动信息结合，在LBP的基础上，Zhao等人提出了VLBP的改进方法，其思想是将当前帧中的像素点的LBP值和前后两帧的对应像素点的LBP按照一定权值结合起来。5、LOCP-TOP特征，LOCP-TOP(LocalOrdinalContrastPatternFromThreeOrthogonalPlanes)三正交平面局部顺序比较模式。LOCP-TOP是一种类似于LBP-TOP的特征提取方法，只不过它是基于LOCP纹理特征的动态改进方法。LOCP总结了LBP的特点，并继承了基本的原理，不过该方法认为，在纹理特征提取时，如果选择中心点作为周围所有点的对比，极容易受到噪声点的干扰，LOCP方法选择固定的半径圆和邻域点个数后，不再将每个位置的点与中心点作比较，而是前后位置成对的比较，依次化为二进制。在LOCP的基础上，受LBP-TOP思想的激发，同样的加入时间轴之后在三个正交平面分别提取LOCP特征，构成了最终的LOCP-TOP特征。6、K近邻分类器(KNN)，是指基于欧氏距离的最近邻分类器。本专利技术的技术方案为：一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，包括训练阶段、测试阶段；A、训练阶段，包括步骤如下：(1)对微表情域中每个图片平均分成若干分块；(2)对宏表情域和微表情域提取最具代表性的特征；对于宏表情域，提取的最具代表性的特征是LBP特征；LBP特征是宏表情域最具有代表性的纹理特征；为了充分反映微表情动态序列的特点，对于微表情域中的每个分块，提取的最具代表性的特征包括光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；(3)对步骤(2)提取的特征进行降维；(4)对步骤(3)处理后的特征进行分组，将宏表情域中的特征均分为宏表情域测试集、宏表情域训练集，将微表情域中的特征均分为微表情域测试集、微表情域训练集；(5)由于宏表情和微表情的机理存在着差异，直接使用数据集不仅在原理难以畅通，实验结果也极其不理想，为了能提高两个数据库的关联性和相似度，本专利技术做了两个工作：将宏表情域训练集和微表情域训练集的数据投影到一个公共空间，在该公共空间中设定宏表情域的稀疏字典与微表情域的稀疏字典；为了提高两个域的字典的关联本文档来自技高网...

【技术保护点】
1.一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，其特征在于，包括训练阶段、测试阶段；A、训练阶段，包括步骤如下：(1)对微表情域中每个图片平均分成若干分块；(2)对宏表情域和微表情域提取最具代表性的特征；对于宏表情域，提取的最具代表性的特征是LBP特征；对于微表情域中的每个分块，提取的最具代表性的特征包括光流特征、LBP‑TOP特征、VLBP特征、LOCP‑TOP特征；(3)对步骤(2)提取的特征进行降维；(4)对步骤(3)处理后的特征进行分组，将宏表情域中的特征均分为宏表情域测试集、宏表情域训练集，将微表情域中的特征均分为微表情域测试集、微表情域训练集；(5)将宏表情域训练集和微表情域训练集的数据投影到一个公共空间，在该公共空间中设定宏表情域的稀疏字典与微表情域的稀疏字典；将设定微表情域的稀疏字典用设定宏表情稀疏字典进行线性重构，通过计算获得宏表情域的稀疏字典、微表情域的稀疏字典、宏表情域的投影矩阵、微表情域的投影矩阵、微表情域的重构矩阵、宏表情域的稀疏系数表示矩阵，微表情域的稀疏系数表示矩阵；B、测试阶段，包括步骤如下：(6)对于给定宏表情域测试集、微表情域测试集，分别通过步骤(5)得到宏表情域的投影矩阵、微表情域的投影矩阵，对宏表情数据集和微表情数据集投影到公共空间；(7)利用通过步骤(5)得到的宏表情域的稀疏字典、微表情域的稀疏字典，分别对投影到公共空间的宏表情域测试集、微表情域测试集进行线性重构，得到宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵；(8)通过机器识别经典算法K近邻分类器(KNN)对步骤(7)得到的宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵进行分类识别。...

【技术特征摘要】
1.一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，其特征在于，包括训练阶段、测试阶段；A、训练阶段，包括步骤如下：(1)对微表情域中每个图片平均分成若干分块；(2)对宏表情域和微表情域提取最具代表性的特征；对于宏表情域，提取的最具代表性的特征是LBP特征；对于微表情域中的每个分块，提取的最具代表性的特征包括光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；(3)对步骤(2)提取的特征进行降维；(4)对步骤(3)处理后的特征进行分组，将宏表情域中的特征均分为宏表情域测试集、宏表情域训练集，将微表情域中的特征均分为微表情域测试集、微表情域训练集；(5)将宏表情域训练集和微表情域训练集的数据投影到一个公共空间，在该公共空间中设定宏表情域的稀疏字典与微表情域的稀疏字典；将设定微表情域的稀疏字典用设定宏表情稀疏字典进行线性重构，通过计算获得宏表情域的稀疏字典、微表情域的稀疏字典、宏表情域的投影矩阵、微表情域的投影矩阵、微表情域的重构矩阵、宏表情域的稀疏系数表示矩阵，微表情域的稀疏系数表示矩阵；B、测试阶段，包括步骤如下：(6)对于给定宏表情域测试集、微表情域测试集，分别通过步骤(5)得到宏表情域的投影矩阵、微表情域的投影矩阵，对宏表情数据集和微表情数据集投影到公共空间；(7)利用通过步骤(5)得到的宏表情域的稀疏字典、微表情域的稀疏字典，分别对投影到公共空间的宏表情域测试集、微表情域测试集进行线性重构，得到宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵；(8)通过机器识别经典算法K近邻分类器(KNN)对步骤(7)得到的宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵进行分类识别。2.根据权利要求1所述的一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，其特征在于，所述步骤(2)，对宏表情域和微表情域提取最具代表性的特征，包括：a、对宏表情域和微表情域进行特征提取，对于宏表情域，提取的特征nx是指宏表情域的样本个数；是指宏表情域中nx个样本提取的LBP特征，R是指矩阵X的大小；mx是指宏表情域的特征维数；对于微表情域，提取的特征ny是指微表情域的样本个数；Y1、Y2、Y3、Y4分别...

【专利技术属性】
技术研发人员：贲晛烨，冯云聪，韩民，朱雪娜，张鑫，陈瑞敏，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37