【技术实现步骤摘要】
本专利技术属于计算机视觉，涉及微表情的情感分析，具体涉及一种基于噪声标签自修复的微表情识别方法。
技术介绍
1、微表情是一种短暂的不自觉的面部表情，通常出现在人们有意识或无意识隐藏自己的情感时，因此微表情可以看作是个人真情情绪的“泄漏”，尤其是在高风险的情况下。微表情识别(mer)的研究可以提高人们对面部细微行为的感知能力和敏感度，是人类情感和情感现象理解的一个重要课题，在刑侦、临床医学、商业谈判、公共安全等场景下的微表情分析技术具有重要研究和应用价值。
2、传统的微表情识别方法通常采用手工提取特征的方式，按照处理算法不同可以分为基于纹理的特征提取和基于几何变换的特征提取。基于纹理的特征使用表观的纹理特征作为微表情特征。基于几何变换的特征通过定位人脸标志点的几何形状来表示人脸特征从而形成人脸特征向量，常见的有光流法(optical flow，of)和主方向平均光流(maindirectional mean optical flow feature，mdmo)等，通过建立物理模型或机器模型来进行微表情识别。由于手工制作的特征存在着方法参数量大、设计复杂，以及没有足够的分辨力等问题，在现实场景的应用下识别度通常较低。
3、近年来，随着深度学习技术的不断发展，深度卷积神经网络因其强大的特征提取能力和复杂问题表达能力，在计算机视觉领域如目标检测、语义分割、图像处理等取得了显著的成效。深度学习背景下提取的特征可以分为基于卷积神经网络提取的特征、基于卷积神经网络和长短期记忆网络(longshort-termmemor
技术实现思路
1、针对现有技术的不足，本专利技术提出了一种基于噪声标签自修复的微表情识别方法，根据样本数据的重要性不同进行重加权，克服不确定性标签对模型训练的影响，提高微表情识别工作的准确性和高效性。
2、一种基于噪声标签自修复的微表情识别方法，具体包括以下步骤：
3、步骤1、基于光流法和shallow-mobilenet网络进行特征提取
4、步骤1-1、光流特征提取
5、对微表情的起始帧和峰值帧使用tv-l1光流模型提取水平与垂直方向上的光流特征，进一步计算光学应变光流特征。光学应变光流特征可以表征面部变形的程度，不易受光照条件、面部遮挡条件的影响，然后将两个方向上的光流特征与光学应变光流特征叠加，形成光流图，有效表征面部微表情发生时的局部运动。
6、步骤1-2、基于shallow-mobilenet进行深层特征提取
7、shallow-mobilenet模型结构使用mobilenet-v3模型结构为骨干，包括mobilenet-v3中的block块和一个用于消除冗余特征的平均池化层。shallow-mobilenet模型对步骤1-1得到的光流图进行分析计算，将低层的光流特征转换为具有判别行的高级特征，得到深层的特征向量表示。将每个微表情的深层特征依次输入分类器模型，得到对应的类别预测值。
8、步骤2、对数据样本进行重要性加权
9、将每个光流图作为一个数据样本，分批次输入模型中。使用重要性重加权模块对数据样本进行重要性的评估，来判别其对于模型训练的贡献程度，为期望不确定的微表情样本分配较低的重要性权重，并应用于损失加权从而抑制不确定性样本的表达。重要性权重包括局部重要性权重和全局重要性权重：
10、步骤2-1、计算局部重要性权重
11、局部重要性权重用于感知每个批次下样本之间的相对重要性。首先为每个类别定义一个初始的类别中心特征向量，通过最小化center-loss损失函数进行更新，局部重要性模块通过distance距离函数计算当前批次中每个样本与更新后的类别中心特征向量之间的欧式距离，基于该距离值为每个样本分配局部重要性权重。在同一个批次中，与中心特征向量距离越远的样本局部重要性权重越小。
12、步骤2-2、计算全局重要性权重
13、全局重要性权重用于感知整体的训练数据中每个样本的重要性。全局重要性加权模块括一个线性全连接层和sigmoid激活函数，通过自适应学习每个样本数据的特征，为样本分配不同的全局重要性权重。
14、步骤2-3、权重融合并损失重加权
15、将步骤2-1、2-2计算得到的局部重要性权重与全局重要性权重进行融合，并在融合时设置超参数λ，为两部分权重分配不同的比例系数，从而获得每个样本在全局和局部两个维度考虑下的综合重要性权重。应用融合后的综合重要性权重对步骤1中分类器模型输出的类别预测值进行损失重加权，来抑制不确定性样本的表达能力。设置超参数γ，根据融合后的综合重要性权重，将每个批次中的样本划分为高重要性组和低重要性组，并在下一个步骤中对低重要性组中的样本进行判别。
16、步骤3、更新噪声标签
17、建立重标记模块，根据类内重要性加权模块的分组，针对低重要性组的样本标签进行判别。当一个样本的最大预测类别概率与其原始标签概率的差值超过设定阈值β，且样本的最大预测类别与类别中心特征向量的距离小于原始标签与其类别中心特征向量的距离时，对训练样本的标签进行自修复，使用最大预测类别替换样本的原始标签，以此提高训练过程中的数据样本纯净度。
18、作为优选，为避免过早判别噪声标签并对其进行更改，采用慢启动预热的方式启动重标记模块，等待模型训练固定大小的epoch轮次后，重要性重加权模块趋于相对稳定的状态时，再启动重标记模块。
19、本专利技术具有以下有益效果：
20、1、基于shallow-mobilenet的轻量级网络具有参数少、计算量小，以及推理时间更短等特点，能够更好的适应于微表情识别工作中数据集样本量较少的缺陷，从而减弱网络模型训练对数据样本量的依赖性。在保证训练速度的同时，shallow-mobilenet通过引入se通道注意力机制让模型可以更加关注特征图中信息量较大的部分，从而抑制面部与微表情运动无关的特征，克服了微表情运动存在的局部性问题，有助于模型提取到具有判别性的高级特征并得到样本深层的特征向量表示。
21、2、重要性重本文档来自技高网...
【技术保护点】
1.一种基于噪声标签自修复的微表情识别方法，其特征在于：具体包括以下步骤：
2.如权利要求1所述一种基于噪声标签自修复的微表情识别方法，其特征在于：步骤1中深层特征的提取过程为：首先使用两个3×3的卷积将对光流图分别进行升维、缩小宽度大小操作，然后使用通道注意力机制获取每个特征通道的重要程度，之后通过一个1×1卷积对特征进行降维，使用平均池化操作抑制噪声并减少冗余信息，最后获得深层特征。
3.如权利要求1所述一种基于噪声标签自修复的微表情识别方法，其特征在于：Center-Loss损失函数LCenter的计算公式为：
4.如权利要求1所述一种基于噪声标签自修复的微表情识别方法，其特征在于：局部重要性权重的计算公式为：
5.如权利要求1或4所述一种基于噪声标签自修复的微表情识别方法，其特征在于：设置超参数λ＝0.3。
6.如权利要求1所述一种基于噪声标签自修复的微表情识别方法，其特征在于：为避免过早判别噪声标签并对其进行更改，等待模型训练固定大小的epoch轮次后，再进行噪声标签更新步骤。
7.如权利要求1或7
...【技术特征摘要】
1.一种基于噪声标签自修复的微表情识别方法，其特征在于：具体包括以下步骤：
2.如权利要求1所述一种基于噪声标签自修复的微表情识别方法，其特征在于：步骤1中深层特征的提取过程为：首先使用两个3×3的卷积将对光流图分别进行升维、缩小宽度大小操作，然后使用通道注意力机制获取每个特征通道的重要程度，之后通过一个1×1卷积对特征进行降维，使用平均池化操作抑制噪声并减少冗余信息，最后获得深层特征。
3.如权利要求1所述一种基于噪声标签自修复的微表情识别方法，其特征在于：center-loss损失函数lcenter的计算公式为：
4.如...
【专利技术属性】
技术研发人员：王兴起，郑万闯，邵艳利，魏丹，方景龙，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。