一种基于迁移学习的微表情识别方法技术

本发明专利技术提供一种基于迁移学习的微表情识别方法，包括对人脸面部图像数据进行预处理，还包括以下步骤：分别对微表情的起始帧和顶点帧进行提取，同时提取宏表情的起始帧和顶点帧一半进行提取；对提取后的图片进行面部检测，对两个帧的图像做光流特征提取，作为输入；使用ResNet网络进行特征提取，将提取的特征分为上下两部分，在平均池化后送入全连接层分别进行识别，将提取后的特征进行识别并输出。本发明专利技术提出了一种基于迁移学习的微表情识别方法，微表情识别网络结构采用改进的ResNet18，在样本预处理部分平衡了CASMEII、SAMM、SMIC三个微表情数据集的表情运动变化幅度，以此对样本分布进行平衡，并将提取的光流特征对齐,减少噪声干扰，平衡了噪声对光流特征的干扰。平衡了噪声对光流特征的干扰。平衡了噪声对光流特征的干扰。

【技术实现步骤摘要】
一种基于迁移学习的微表情识别方法


[0001]本专利技术涉及图像处理的
，特别是一种基于迁移学习的微表情识别方法。

技术介绍

[0002]面部表情是人们沟通交流的重要方式。表情交流传递信息在日常生活中十分常见，在一些特定情况下，表情可以表达比语言更多的信息。从心理上讲，在人们面对自己不利的情况下，通常会控制面部表情变化来达到欺骗的目的。目前，一些心理学研究表明，当人们试图抑制自己的情绪时，面部会出现不由自主的出现微表情。微表情首次发现于1966年。三年后，Ekman等人在分析一段试图自杀的病人的采访视频时使用了微表情这个词。微表情通常在1/25
‑
1/2秒之间不受控制地变化，并且出现频率较低，未经过训练的个体对其识别能力并不高。而不同的研究者报告的结果也存在着较大的差异。在这之后，Ekman和Friesen于1979年提出了短暂表情识别测验(Brief Affect Recognition Test,BART)。在后续的实验中他们发现了被试者的微表情识别能力与谎言识别能力成正相关。之后，Ekman进行了日本人与高加索人短暂表情识别测验(Japanese and Caucasian Brief Affect Recognition Test，JACBART)，该实验也验证了被试者的微表情识别能力与谎言识别能力成正相关，可以证明微表情能有效的帮助人们识别谎言。当人们在表达内心状态和心理需求时，就会产生大量面部表情，但由于微表情存在的时间过短，不容易被人眼所察觉，因此可使用计算机来解决这个问题。r/>[0003]目前使用算法对微表情进行识别的主要分成两大类：传统手工提取特征进行分类和深度学习方法提取特征进行分类。使用深度学习方法提取特征，关键在于如何提取有效的特征，如何保留面部运动的信息，使其损失最小。目前主要采取的策略有：放大运动幅度，采用提取光流特征作为输入保留运动信息，使用卷积神经网络(Convolutional Neural Networks,CNN)+长短期记忆(Long Short
‑
Term Memory,LSTM)网络识别视频帧等。虽然它们的采取的策略各不相同，但结构基本遵从对数据预处理，提取特征，根据提取特征进行分类的过程。但在此训练过程中存在不平衡问题导致模型不能达到最佳效果。这种不平衡问题其中包括两个方面：特征图层次的不平衡和面部动作变化幅度分布的不平衡，而引起这两方面不平衡的原因分别是：提取的特征没有被充分利用；面部幅度放大倍数单一。除此之外，提取光流特征作为网络的输入，可以保留运动的信息。但对面部对齐和环境变化较为敏感，容易受到干扰。为了有效改善以上所提出的问题，我们提出基于非局部注意力机制的自适应平衡放大系数网络，这是一个简单但有效的微表情识别模型，可以明确地解决上述三个问题。该模型体现了三方面的创新点：我们采用自适应的放大系数(Adaptive Balanced Amplification Factor,ABAF)对微表情进行欧拉视频放大(Eulerian Video Magnification,EVM),基于面部变化幅度的不同，调整放大系数，使其变化幅度更为接近，且符合高斯分布,来解决面部动作变化幅度分布的不平衡。
[0004]在网络中，高层特征中语义信息比较丰富，但是细节比较粗略，而底层特征中语义信息比较少，但是细节较多。
[0005]2021年05月26日在道客巴巴网站上公开了山东大学肖瑞雪的硕士学位论文《基于宏表情迁移学习的微表情识别方法研究》，提出了基于联合表示学习的微表情识别模型，可采用与微表情数据具有一定共性的宏表情，学习宏表情和微表情差异最小挂的公共子空间，同时提出了基于对偶图正则化的联合非负矩阵分解的微表情识别模型，同样引入信息丰富的宏表情知识，从宏表情和微表情数据本身寻找公共情绪因素。该方法的缺点是迁移宏表情后没有对宏表情运动幅度关注，导致源域与目标域运动幅度差异较大。

技术实现思路

[0006]为了解决上述的技术问题，本专利技术提出了一种基于迁移学习的微表情识别方法，微表情识别网络结构采用改进的ResNet18，在样本预处理部分平衡了CASMEII、SAMM、SMIC三个微表情数据集的表情运动变化幅度，以此对样本分布进行平衡，并将提取的光流特征对齐,减少噪声干扰，平衡了噪声对光流特征的干扰。对各层进行特征融合来平衡特征，并增加非局部注意力机制模块进行特征增强。使用ResNet18进行特征提取后，将各层特征图用1
×
1的卷积将通道扩展成512，再将各层特征图池化到7*7，并将各层融合后平。
[0007]本专利技术提供一种基于迁移学习的微表情识别方法，包括对人脸面部图像数据进行预处理，还包括以下步骤：
[0008]步骤1：分别对微表情的起始帧和顶点帧进行提取，并同时提取宏表情的起始帧和顶点帧一半进行提取；
[0009]步骤2：对提取后的图片进行面部检测，对两个帧的图像做光流特征提取，作为输入；
[0010]步骤3：使用ResNet网络进行特征提取，将提取的特征分为上下两部分，在平均池化后送入全连接层分别进行识别，并将提取后的特征进行识别并输出。
[0011]优选的是，所述对人脸面部图像数据进行预处理步骤还包括将面部动作幅度用欧拉视频放大算法自适应放大，使得微表情运动幅度增加。
[0012]在上述任一方案中优选的是，所述预处理包括以宏表情样本中起始帧和顶点帧之间光流的最大值作为表情的运动幅度，使用二分法寻找运动幅度接近微表情样本放大后的平均值。
[0013]在上述任一方案中优选的是，所述步骤2包括采用自适应放大系数方法平衡数据集间不同样本的表情变化幅度。
[0014]在上述任一方案中优选的是，所述自适应放大系数方法包括以下子步骤：
[0015]步骤21：使用光流法提取源数据集中样本起始帧和顶点帧的光流特征；
[0016]步骤22：并计算其中光流的最大值作为源数据集中样本的运动幅度；
[0017]步骤23：根据运动幅度计算放大系数。
[0018]在上述任一方案中优选的是，当样本小于1时，需要较大的放大系数；当样本运动幅度大于8时，则不再放大；第i个样本的放大系数P
i
定义为
[0019][0020]其中，m
i
为原始面部运动幅度，A、B、C和M为常系数。
[0021]在上述任一方案中优选的是，所述步骤3包括在所述ResNet网络的每层特征融合后增加non
‑
local模块，non
‑
local方法为
[0022][0023]其中，y
i
为位置i的输出信号，x
i
为位置i的输入信号，x
j
为位置j的输入信号，f(x
i
,x
j
)表示位置i和所有与之可能关联的位置j的关系，C(x)为归一化参数，为特征图中任意其他位置，g(x
j
)为线性转本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的微表情识别方法，包括对人脸面部图像数据进行预处理，其特征在于，还包括以下步骤：步骤1：分别对微表情的起始帧和顶点帧进行提取，并同时提取宏表情的起始帧和顶点帧一半进行提取；步骤2：对提取后的图片进行面部检测，对两个帧的图像做光流特征提取，作为输入；步骤3：使用ResNet网络进行特征提取，将提取的特征分为上下两部分，在平均池化后送入全连接层分别进行识别，并将提取后的特征进行识别并输出。2.如权利要求1所述的基于迁移学习的微表情识别方法，其特征在于，所述对人脸面部图像数据进行预处理步骤还包括将面部动作幅度用欧拉视频放大算法自适应放大，使得微表情运动幅度增加。3.如权利要求2所述的基于迁移学习的微表情识别方法，其特征在于，所述预处理包括以宏表情样本中起始帧和顶点帧之间光流的最大值作为表情的运动幅度，使用二分法寻找运动幅度接近微表情样本放大后的平均值。4.如权利要求3所述的基于迁移学习的微表情识别方法，其特征在于，所述步骤2包括采用自适应放大系数方法平衡数据集间不同样本的表情变化幅度。5.如权利要求4所述的基于迁移学习的微表情识别方法，其特征在于，所述自适应放大系数方法包括以下子步骤：步骤21：使用光流法提取源数据集中样本起始帧和顶点帧的光流特征；步骤22：并计算其中光流的最大值作为源数据集中样本的运动幅度；步骤23：根据运动幅度计算放大系数。6.如权利要求5所述的基于迁移学习的微表情识别方法，其特征在于，当样本小于1时，需要较大的放大系数；当样本运动幅度大于8时，则不再放大；第i个样本的放大系数P
i
定义为其中，m
i
为原始面部运动幅度，A、B、C和M为常系数。7.如权利要求6所述的基于迁移学习的微表情识别方法，其特征在于，所述步骤3包括在所述ResNet网络的每层特征融合后增加non
‑
local模块，non
‑
local方法为其中，y
i
为位置i的输出信号，x
i

【专利技术属性】
技术研发人员：何宁，张人，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：