一种基于ECOC和深度学习的微表情识别方法技术

本发明专利技术提供了一种基于ECOC和深度学习的微表情识别方法，所述方法包括：步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征；步骤二、使用改进的基于多重数据复杂度的ECOC方法处理微表情数据；步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。本发明专利技术实现了更高的准确率，相比其他微表情识别算法,集成算法表现出更好的鲁棒性。需要更少的参数，训练时消耗更少的时间和资源，是一种轻量高效的微表情识别方法。

【技术实现步骤摘要】
一种基于ECOC和深度学习的微表情识别方法
本专利技术属于计算机领域，具体地，涉及一种基于ECOC和深度学习的微表情识别方法。
技术介绍
在日常生活中，人们利用丰富多样的方式进行沟通、交流和表达自我。面部情绪、身体动作、语言和文字等方式共同构成了人类的基本交流系统。据实验统计，人的面部表情通常包含丰富多样的情绪信息，期间传递的信息量约占所有信息量的55％，声音传递的信息量相对少一些，约占38％。对比而言，语言和文字形式这两种方式在交流沟通中仅仅只能传递7％的信息量。表情是人类情绪的外在表现形式，是表达人类真情情感的重要窗口。人脸的面部表情主要分为宏表情和微表情。通常人们在交流中直接看到的表情被称为宏表情。宏表情在表达方面拥有三个显著的特点：第一，它们的表现形式较为夸张，人脸区域运动较为强烈，非常容易被人们察觉；第二，它们的表达过程非常自由，没有受到主人理性的抑制和隐藏。第三，他们持续时间较长，通常为0.5s～4s之间，容易被仪器记录下来，因而可以用于研究的实验数据更多。据研究表明，宏表情的识别正确率均已经超过90％。在某些特定环境中，人们试图抑制内心的真情实感,甚至做出一些与之完全相反的表情，但是由于人类机体自身的特点，这种偶尔不经意间流露出来的细微表情被科学家称为微表情。微表情不受人们主观意识的控制，是一种非主观意识的面部表情。通常来说，微表情具有两个特点：(1)持续时间短暂，一般持续时长仅为1/25到1/2秒。(2)面部肌肉运动强度低，微表情仅使用面部部分区域肌肉而且肌肉变化程度较小。微表情是一种维持时间短、表情变化范围较小、不易被人捕捉觉察到的面部表情，因而人工识别微表情难度较大，并且可靠性也不能得到保证，因此如何精确识别微表情是亟待解决的问题。传统微表情识别算法主要利用不同的特征提取器提取微表情特征，之后将提取到的特征输入到分类器，利用分类器学习训练样本。传统算法提取的特征往往会被现实世界中的不良光照、多重头部姿态变化以及面部阻挡等问题困扰。目前的微表情识别存在样本数量少和识别难度大的问题。
技术实现思路
本专利技术提供了一种基于ECOC和深度学习的微表情识别方法，能实现了更高的准确率，相比其他微表情识别算法,集成算法表现出更好的鲁棒性。需要更少的参数，训练时消耗更少的时间和资源，是一种轻量高效的微表情识别方法为了解决上述问题，本专利技术提供一种基于ECOC和深度学习的微表情识别方法，所述方法包括：步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征，将光流法得到的光流向量和应变向量拼接形成特征作为算法的输入，每个图像都表示为三维光流向量Θ，Θ＝{u,v,ε}∈R3，其中，u表示光流场的水平分量，v表示光流场的垂直分量，ε表示光学应变测量；步骤二、使用改进的基于多重数据复杂度的ECOC方法处理微表情数据，利用数据复杂度探测数据属性特点和分布规律，形成线性辨别度最大的正类簇和负类簇，提高分类器对样本的学习能力，复杂程度较低的区域被认为是有效区域，复杂程度较高的区域被认为是无效区域，妨碍分类识别，应该被剔除,为了区分脸部关键区域对整体表情的影响，使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，具体使用贪心搜索算法寻找最优的正类簇和负类簇，在贪心搜索算法中使用平均最小类间数据复杂度作为簇划分好坏的判别标准；步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。第二方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现本申请实施例描述的方法。第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：所述计算机程序被处理器执行时实现如本申请实施例描述的方法。附图说明图1是本专利技术基于ECOC和深度学习的微表情识别流程图。具体实施方式为了能够使得本专利技术的专利技术目的、技术流程及技术创新点进行更加清晰的阐述，以下结合附图及实例，对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。为达到以上目的，本专利技术提供了一种基于ECOC和深度学习的微表情识别方法。主流程如图1所示，该方法包括：步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征，将光流法得到的光流向量和应变向量拼接形成特征作为算法的输入，每个图像都表示为三维光流向量Θ，Θ＝{u,v,ε}∈R3，其中，u表示光流场的水平分量，v表示光流场的垂直分量，ε表示光学应变测量；步骤二、使用改进的基于多重数据复杂度的ECOC方法处理微表情数据，利用数据复杂度探测数据属性特点和分布规律，形成线性辨别度最大的正类簇和负类簇，提高分类器对样本的学习能力，复杂程度较低的区域被认为是有效区域，复杂程度较高的区域被认为是无效区域，妨碍分类识别，应该被剔除,为了区分脸部关键区域对整体表情的影响，使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，具体使用贪心搜索算法寻找最优的正类簇和负类簇，在贪心搜索算法中使用平均最小类间数据复杂度作为簇划分好坏的判别标准；本申请改进的基于多重数据复杂度的ECOC方法使用多重数据复杂度测度作为判断标准生成编码矩阵，在编码过程中降低类别不均衡问题和数据稀疏性带来的负效应，同时扩大编码矩阵的规模，进一步提升算法对微表情数据集的识别性能。使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，改善数据复杂度评估的片面性。针对数据复杂度的特性，使用贪心搜索策略寻找最优的类别划分方式。算法利用数据复杂度形成特征选择阈值，淘汰对分类无用的特征，提升算法表现，缩短训练时间。步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；传统的CNN网络训练需要大量图像数据，如果图像数量过少容易引起过拟合现象，分类能力较差。针对小量的微表情数据，本申请基于深度森林和卷积神经网络的集成方法(称作DeepFores&CNN算法)，在浅层神经网络的基础上，使用深度森林算法作为表示增强结构，加强对小类别数据的识别，提高分类准确率。步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。优选的，基于多重数据复杂度的ECOC方法进行数据复杂度划分的过程包括：将多个类别随机分为正负两个组合，使用滑动窗口评估当前两组类别的图片复杂度，之后，使用贪心优化策略，以降低两个组的总体图片数据复杂性为目标，不断尝试交换正负两个组中本文档来自技高网...

【技术保护点】
1.一种基于ECOC和深度学习的微表情识别方法，所述方法包括：/n步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征，将光流法得到的光流向量和应变向量拼接形成特征作为算法的输入，每个图像都表示为三维光流向量Θ，Θ＝{u,v,ε}∈R

【技术特征摘要】
1.一种基于ECOC和深度学习的微表情识别方法，所述方法包括：
步骤一、采集微表情图像，使用光流法和光流应变法结合的三维特征作为微表情的特征，将光流法得到的光流向量和应变向量拼接形成特征作为算法的输入，每个图像都表示为三维光流向量Θ，Θ＝{u,v,ε}∈R3，其中，u表示光流场的水平分量，v表示光流场的垂直分量，ε表示光学应变测量；
步骤二、使用改进的基于多重数据复杂度的ECOC方法处理微表情数据，利用数据复杂度探测数据属性特点和分布规律，形成线性辨别度最大的正类簇和负类簇，提高分类器对样本的学习能力，复杂程度较低的区域被认为是有效区域，复杂程度较高的区域被认为是无效区域，妨碍分类识别，应该被剔除,为了区分脸部关键区域对整体表情的影响，使用滑动窗口计算图片的特征复杂度，将图片的空间信息和数据信息融合，具体使用贪心搜索算法寻找最优的正类簇和负类簇，在贪心搜索算法中使用平均最小类间数据复杂度作为簇划分好坏的判别标准；
步骤三、构造基于深度森林和卷积神经网络的异质集成模型，将深度森林的重表示特征经过卷积层和卷积神经网络的深度特征混合形成新的图像特征，帮助分类器实现判别分类；
步骤四、结合当前场景内容和微表情分类，与识别对象进行交互。


2.根据权利要求1所述的方法，其特征在于，基于多重数据复杂度的ECOC方法进行数据复杂度划分的过程包括：将多个类别随机分为正负两个组合，使用滑动窗口评估当前两组类别的图片复杂度，之后，使用贪心优化策略，以降低两个组的总体图片数据复杂性为目标，不断尝试交换正负两个组中复杂度最高的两个类的数据来降低两组之间的数据复杂性，直到图片复杂度无法降低后停止交换过程，形成最终的正负类，根据正负类组合形成新的ECOC编码，之后分别判断正负类组合中类的数量，如果正/负组合中类的数量超过1个，将对应的组合重新进行此过程，如果正/负类组合中只有一个类别，那么基于当前数据复杂度的划分过程结束。


3.根据权利要求1所述的方法，其特征在于，对微表情进行分类的过程具体包括：
Step1，随机分为CP和CN两类,RP和RN表示群CP和CN中的类别数；
Step2，dc＝DC(CP，CN)表示计算CP和CN之间的复杂性指标；使用三个数据复杂度测度来分别评估复杂度，数据复杂度用Fh(h∈{1,…,3})表示，F1和F3数值越大，表示数据耦合性越低；F2数值越小，对应的数据耦合性越低，所以F1和F3数据复杂度的最大值和F2数据复杂度的最小值分别是算法的优化目标；
Step3，使用一对一的方式评估CP/CN中类ci的复杂度ZPi/ZNi，即ZPi/ZNi是根据CP/CN中和c...

【专利技术属性】
技术研发人员：刘昆宏，孙蒙新，吴清强，洪清启，陈俐燕，苏劲松，姚俊峰，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35