基于多层次特征联合的微表情识别方法及系统技术方案

本公开公开了基于多层次特征联合的微表情识别方法及系统，包括：获取待识别的微表情视频，从待识别的微表情视频中提取起始帧和峰值帧；对起始帧和峰值帧分别提取面部区域图像；基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果。

【技术实现步骤摘要】
基于多层次特征联合的微表情识别方法及系统
本公开涉及计算机视觉
，特别是涉及基于多层次特征联合的微表情识别方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。微表情是人们在试图隐藏真实情感时无意识地做出的一种短暂的面部表情，它通常出现在人们处于危急的情况下。微表情和宏表情不同的是，微表情发生时间短而迅速，面部部位变化不明显，但它通常能够反映人们内心的真实情感。因此，微表情识别在心理和临床诊断、情绪分析、刑事侦查、国防安全等领域有着广泛的应用。微表情识别是一项非常困难的工作，原因如下：从微表情的持续时间分析，持续时间很短，一个标准的微表情持续时间最短1/25秒最长不超过1/5秒；在空间场中，它只出现在人脸的特定部位，且变化强度十分微弱；现有的特征检测方法只对变化明显的部分敏感，对局部变化较轻微的部位检测存在一定的困难；对于现有的自发的微表情数据集而言，样本数量少且不同类别样本的数目相差较大，存在分类任务中的类别不均衡问题。因此，微表情识别是一项非常具有挑战性的工作。专利技术人发现目前，微表情识别方法主要分为传统方法和深度学习方法。在传统方法中，特征提取和分类是分开操作的，先进行特征提取，再进行分类操作。特征提取常用的方法包括：基于梯度特征的提取方法、基于运动特征的提取方法以及基于纹理特征的提取方法。分类常用的方法包括：SVM分类器、随机森林以及隐马尔科夫模型等。传统方法提取特征方式复杂，需要手动设计特征描述子，由于微表情的运动是局部性的，因此传统特征提取方法也很难完全捕捉面部的微弱变化，同时，特征的计算量较大，而且分类器的选择对分类性能的影响很大。在深度学习方法中，研究者们设计各种基于卷积运算的网络模型，可以分为2D卷积神经网络和3D卷积神经网络。深度学习方法通过交替的卷积、池化等操作自动提取特征，不需要手动设计特征描述子，而且特征提取和分类是不需要分开操作的。虽然深度学习方法在人脸识别、表情识别等众多领域表现出强大的优越性。但是，深度学习的方法往往需要大量的训练数据来学习优化分类模型，对于微表情分析领域中现存的小规模数据集来说，使用深度学习进行微表情识别仍具有很大的挑战性。
技术实现思路
为了解决现有技术的不足，本公开提供了基于多层次特征联合的微表情识别方法及系统；解决传统方法中提取特征过程过于繁琐、效率低下的问题和深度学习方法中由于数据集样本数目少导致网络过拟合以及随着网络加深微弱特征信息损失导致微表情识别精度不高的问题。第一方面，本公开提供了基于多层次特征联合的微表情识别方法；基于多层次特征联合的微表情识别方法，包括：获取待识别的微表情视频，从待识别的微表情视频中提取起始帧和峰值帧；对起始帧和峰值帧分别提取面部区域图像；基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果。第二方面，本公开提供了基于多层次特征联合的微表情识别系统；基于多层次特征联合的微表情识别系统，包括：获取模块，其被配置为：获取待识别的微表情视频，从待识别的微表情视频中提取起始帧和峰值帧；面部区域提取模块，其被配置为：对起始帧和峰值帧分别提取面部区域图像；光流分量提取模块，其被配置为：基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；分类模块，其被配置为：将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果。第三方面，本公开还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。第五方面，本公开还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。与现有技术相比，本公开的有益效果是：本公开提出了一种多层次特征联合的微表情识别算法，提高了微表情识别的准确率以及F1结果。本公开提出了一种特征联合模块，对主干网络中不同层次的特征进行融合，充分利用浅层网络信息，减少网络层数加深导致的特征信息的损失。本公开提出了一种新颖的网络结构，通过将基于AlexNet的主干网络与特征联合模块的结合，可以使这两部分联合学习，共同优化网络参数。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1中本公开实施例一的方法流程图；图2为本公开实施例一的方法架构图；图3为本公开实施例一的网络结构图；图4(a)-图4(p)为本公开实施例一的每一行分别为不同微表情的起始帧、峰值帧、光流水平分量图以及光流垂直分量图。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。术语解释部分：起始帧，指被观察者开始出现微表情的那一帧。峰值帧，指被观察者的微表情表现最显著的那一帧。终止帧，指被观察者的微表情消失的那一帧。光流，指空间运动物体在观察成像平面上的像素运动的瞬时速度。光流法，指利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。实施例一本实施例提供了基于多层次特征联合的微表情识别方法；如图1和图2所示，基于多层次特征联合的微表情识别方法，包括：S101：获取待识别的微表情视频，从待识别的微表情视频中提取本文档来自技高网...

【技术保护点】
1.基于多层次特征联合的微表情识别方法，其特征是，包括：/n获取待识别的微表情视频，从待识别的微表情视频中提取起始帧和峰值帧；/n对起始帧和峰值帧分别提取面部区域图像；基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；/n将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果。/n

【技术特征摘要】
1.基于多层次特征联合的微表情识别方法，其特征是，包括：
获取待识别的微表情视频，从待识别的微表情视频中提取起始帧和峰值帧；
对起始帧和峰值帧分别提取面部区域图像；基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；
将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果。


2.如权利要求1所述的方法，其特征是，从待识别的微表情视频中提取起始帧和峰值帧；具体步骤包括：
对提供已标注好峰值帧的数据集直接使用；或者，
对未标注峰值帧的数据集，先进行光流计算，计算出每一帧相对起始帧的光流并求出每一帧光流强度总和，最大强度总和所对应的那一帧即为峰值帧。


3.如权利要求1所述的方法，其特征是，对起始帧和峰值帧分别提取面部区域图像；具体步骤包括：
对起始帧和峰值帧分别检测人脸面部关键点；
根据人脸面部关键点，获取裁剪区域的位置及裁剪区域的大小；
根据裁剪区域的位置及裁剪区域的大小，对每个样本的起始帧和峰值帧的面部区域图像进行裁剪，获取只包含面部区域的图像。


4.如权利要求1所述的方法，其特征是，基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；具体步骤包括：
基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流水平分量和光流垂直分量；
对峰值帧相对起始帧的光流水平分量和光流垂直分量，均进行线性变换；
对线性变换后的光流水平分量和光流垂直分量，均进行范围约束。


5.如权利要求4所述的方法，其特征是，所述基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流水平分量和光流垂直分量；步骤之前还包括：
将基于起始帧和峰值帧各自对应的面部区域图像的尺寸均调整为设定尺寸；
根据光流法的灰度不变性约束条件，将调整尺寸后的起始帧和峰值帧各自对应的面部区域图像进行灰度化处理。


6.如权利要求1所述的方法，其特征是，多层次特征联合网络，具体结构包括：主干分类网络AlexNet和特征联合模块；
所述主干分类网络AlexNet，包括：依次连接的第一卷积层、第一归一化层、第一池化层、第二卷积层、第二归一化层、第二池化层、第三卷积层、第四卷积层、第五卷积层、第三池化层、第一全连接层和第二全连接层；
所述特征联合模块，包括：第六卷积层、第七卷积层、第八卷积层、第...

【专利技术属性】
技术研发人员：周元峰，李新雨，王杰，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37