【技术实现步骤摘要】
本专利技术涉及表情识别，尤其涉及一种基于多通道光流特征融合的微表情识别方法。
技术介绍
1、面部微表情是一种非常短暂、自发的面部表情，当人们有意或无意地隐藏某种情绪时，就会出现在脸上。微表情的持续时间比宏表情短，通常只持续0.05到0.2秒，比可以表演的宏表情更准确地反映了个体的主观情绪和真实的心理状态。近年来，微表情识别因其在警务讯问、临床诊断、抑郁分析、商务谈判等方面的广泛应用而备受关注。虽然微表情背后隐藏者巨大的价值，但是近十年来，即使是人脸表情专家在人脸微表情识别的准确率上也不尽人意，识别的准确率仅仅只有50％左右，正是因为依靠人眼识别微表情受限于专业培训和大量的时间成本，且识别准确率又低，所以导致微表情识别的大范围推广受到了严重阻碍。
2、随着近些年来的计算机视觉和机器学习技术的快速发展，越来越多的研究人员将机器学习算法应用到微表情识别，以此解决了人工识别存在的很多困难，识别准确率也有了明显提高，但是现存的基于人工智能的微表情识别还有一些关键问题有待提高，主要体现在：(1)需要标注大量的微表情数据；(2)标注的微表情内容复杂，需要专业的人士标注；(3)特定场景的数据难以获取，数据集不平衡(4)使用的网络模型复杂，推理耗时长等问题。
3、微表情的识别方法最开始从基于手工提取的lbp-top局部二值模式，到基于三个正交平面的局部二值模式、再到结合时间域的八个方向角度信息的立方体局部二值特征，将积分投影和局部二值等纹理结合到骨骼纹理表征中。这些方法对过多的冗余信息进行编码，导致计算成本很高，而且模型的
技术实现思路
1、本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于多通道光流特征融合的微表情识别方法，能有效提高模型的识别精度。
2、为解决上述技术问题，本专利技术所采取的技术方案是：
3、一种基于多通道光流特征融合的微表情识别方法，包括以下步骤：
4、步骤1：获取公开的微表情数据集casme3和smic，从微表情序列中获取所述目标对象的微表情标签和对应的起始帧和顶点帧，将casme3中的情绪类别映射到smic的“积极”“消极”“惊讶”三个类别中；
5、步骤2：对所有样本进行图像预处理，包括对图像进行人脸检测、人脸裁剪和对齐；
6、步骤3：对预处理后的图像进行光流计算，得到水平方向光流特征i1、垂直方向光流特征i2和光应变特征i3；
7、步骤4：将三种光流特征输入到神经网络特征提取模块中进行特征提取，得到的特征f1、f2、f3在通道维度叠加后得到特征f；
8、步骤5：将特征f经过一个1*1卷积层进行降维和通道间的特征融合，保持有用信息，丢弃无用信息，得到特征f’；最后经过两层全连接层fc进行分类输出。
9、进一步地，所述步骤1中，casme3数据集中的情绪范围包括用于表示目标对象内心愉悦程度的第一类特征、用于表示目标对象内心厌恶程度的第二类特征、用于表示目标对象内心惊讶程度的第三类特征值、用于表示目标对象内心压抑程度的第四类特征值、用于表示目标对象内心其他活动的第五类特征；smic数据集中的情绪范围包括用于表示目标对象内心积极的第一类特征、用于表示目标对象内心消极的第二类特征、用于表示目标对象内心惊讶的第三类特征值。
10、进一步地，所述步骤2的具体方法为：
11、使用mediapipe库中的facemesh人脸关键点检测方法对所述对象脸部的关键点进行识别和定位，然后根据人脸的左眼、右眼、鼻尖、嘴唇、左眉、右眉、下巴7个关键点信息标定人脸边界框；
12、根据人脸边界框对所述对象进行空间归一化处理和人脸裁剪，去掉无关背景并且保留微表情感兴趣区域；
13、对检测出的人脸关键点坐标进行归一化处理；首先获取微表情开始的帧即onset帧和微表情动作最明显的帧即apex帧的人脸边界框左上角坐标(x,y)和边界框高度h，对边界框的坐标和高度做均值处理，得到最终裁剪的边界框的坐标和高度；最后将微表情的onset帧和apex帧尺寸统一为224*224大小。
14、进一步地，所述步骤3的具体方法为：
15、图像强度i为空间(x,y)和时间t的函数，将时空轨迹(x+δx,y+δy,t+δt)处的图像强度与(x,y,t)处的图像强度联系起来，即i(x+δx,y+δy,t+δt)与i(x,y,t)，假设物体的亮度在两帧之间恒定，并且只经历像素运动，由泰勒展开得到：
16、
17、其中，(higher order terms)表示泰勒展开式中的高阶无穷小项；
18、因为两边同时除以δt得到：
19、
20、其中，u和v表示光流的水平分量和垂直分量，其中δx和δy分别表示沿x维度和y维度的像素变化，δt表示时间变化；
21、进一步提取光学应变os大小，os表示为一个方阵：
22、
23、其中，对角项∈xx和∈yy是法向量应变分量，∈xy和∈yx是剪切应变分量；
24、os的大小为：
25、
26、计算得到的u、v、|os|即为水平方向光流特征i1、垂直方向光流特征i2和光应变特征i3。
27、进一步地，所述步骤4中，将水平方向光流特征i1、垂直方向光流特征i2和光应变特征i3输入神经网络，采用单独的特征提取模块计算每一个光流的特征信息，并保留有用的特征信息，记光流特征为i(i1,i2,i3)，通过相应的特征提取路径计算出每个光流的对应的图像特征，得到的特征在通道维度拼接得到f，具体方法如下：
28、输入图像的特征表示为ik∈rh*w*c，其中h代表图像的高度，w代表图像的宽度，c代表图像的通道数；在特征提取过程中，采用将图像碎片化的方式进行特征提取，将每张图像划分为x*y个正方形，其中s为每个正方形的边长，则每一个图像特征表示为：
29、ik＝{iki,j|1≤i≤x,1≤j≤y}
30、其中，iki,j表示第i行、第j列的补丁块，大小为s*s*c；
31、经过碎片化的特征ik块经过三层卷积核为7*7的卷积层和一层3*3池化层进行计算，然后经过一层1*1卷积层进行通道融合：
32、lki,j＝h0(iki,j)1≤i≤x,1≤j≤y
33、mki,j＝h1(lki,j)1≤i≤x,1≤j≤y
34、fki,j＝h2(mki,j)1≤i≤x,1≤j≤y
35、其中，h0()代表卷积运算；h1()本文档来自技高网...
【技术保护点】
1.一种基于多通道光流特征融合的微表情识别方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤1中，CASME3数据集中的情绪范围包括用于表示目标对象内心愉悦程度的第一类特征、用于表示目标对象内心厌恶程度的第二类特征、用于表示目标对象内心惊讶程度的第三类特征值、用于表示目标对象内心压抑程度的第四类特征值、用于表示目标对象内心其他活动的第五类特征；SMIC数据集中的情绪范围包括用于表示目标对象内心积极的第一类特征、用于表示目标对象内心消极的第二类特征、用于表示目标对象内心惊讶的第三类特征值。
3.根据权利要求1所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤2的具体方法为：
4.根据权利要求1所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤3的具体方法为：
5.根据权利要求4所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤4中，将水平方向光流特征I1、垂直方向光流特征I2和光应变特征I3输入神经网络，
6.根据权利要求5所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤5中，F’＝H2(F)，H2代表1*1卷积运算；经过卷积运算后的形状为S’*S’*C‘’，C‘’表示降维后的通道数；最后经过展平层将特征F’展平为长度L的向量V1，V1的长度L1为S’*S’*C‘’；最后向量V1经过两层全连接层做情绪分类运算：
7.根据权利要求6所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤5中，为了处理微表情数据集中的数据不平衡问题，基于隐含语义数据增强算法ISDA中的损失函数设计损失函数L，既增强特征深度，还能解决微表情数据集中的类别不平衡问题，损失函数L如下：
...【技术特征摘要】
1.一种基于多通道光流特征融合的微表情识别方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤1中，casme3数据集中的情绪范围包括用于表示目标对象内心愉悦程度的第一类特征、用于表示目标对象内心厌恶程度的第二类特征、用于表示目标对象内心惊讶程度的第三类特征值、用于表示目标对象内心压抑程度的第四类特征值、用于表示目标对象内心其他活动的第五类特征；smic数据集中的情绪范围包括用于表示目标对象内心积极的第一类特征、用于表示目标对象内心消极的第二类特征、用于表示目标对象内心惊讶的第三类特征值。
3.根据权利要求1所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤2的具体方法为：
4.根据权利要求1所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤3的具体方法为：
5.根据权利要求4所述的一种基于多通道光流特征融合的微表情识别方法，其特征在于：所述步骤...
【专利技术属性】
技术研发人员：彭程，韩波，程维，程若冰，孙霜铭，潘永康，李宗晟，王柄然，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。