【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体而言，尤其涉及一种基于时空特征和注意力机制的微表情识别方法。
技术介绍
1、面部表情通常可以划分为宏表情和微表情两类。宏表情是日常生活中最为常见和熟知的表情，当一个宏表情发生时，人们一般能够明显地观察到并分辨出其对应的情感类型。这是因为宏表情持续时间较长(0.5秒到2秒)，脸部运动区域覆盖范围较大(下巴、嘴、鼻子、脸颊、眼部、眉毛等)，肌肉运动也较为强烈。相比而言，微表情是一种短暂的、自发的面部表情，通常出现在人们试图隐藏真实感受的时候，尤其是在高压、紧张、焦虑的情况下。微表情持续周期短，一般认为不超过0.5秒，一些研究也将0.2秒作为阈值。此外，微表情动作在面部运动区域覆盖范围小，主要集中在嘴部和眼部周围，且肌肉运动幅度小。微表情这些特点使它难以被伪装，因此微表情被认为可以表达人类真实情感，其情感表达比宏表情可信度要高，可用于国家安全、司法审讯、临床医疗、公共服务等领域。
2、微表情识别是通过对微表情序列中人脸肌肉动作进行特征提取来完成分类(如积极、消极、惊讶)的过程。传统微表情识别方法通常先对人脸进行细致的处理，如人脸检测、人脸对齐、光照矫正、感兴趣区域剪裁；再进行特征提取，包括形状特征、纹理特征(如局部二值模式)和动态特征(如三维空间的局部二值模式、光流)等，这些特征用于表示微表情的关键信息。最后，利用分类器进行微表情的识别，常用的分类器包括支持向量机、k近邻和决策树等。然而，传统方法存在一些缺点：首先，传统方法对于微表情的细微变化和动态特征的捕捉能力较弱，无法充分利用深层次的信息
3、一些深度学习方法基于单帧人脸图像，通过卷积和全连接网络进行空间特征提取与分类，能取得一定的效果，但这些方法没有充分利用微表情在时间上的运动信息。为了充分利用微表情时间和空间特征，一些基于微表情视频帧序列的工作，使用3d卷积网络和长短期记忆网络进行微表情时空特征的提取，能取得更佳的结果。然而，现有的基于对微表情帧序列进行时空特征提取的方法存在一个共性问题，即它们仍然依赖于手工设计的光流特征。光流计算复杂度很高，需要对每两帧之间的像素变化进行计算，并进行匹配和插值来确定光流的方向和速度，这种复杂性使得基于光流的方法难以满足实时性的要求。
4、专利文献cn105913038a公开了一种基于视频的动态微表情识别方法，其不足之处是在进行特征提取时，存在大量手工方法，如视频分块、提取光流和提取hog3d(histogramof oriented 3d gradients)特征，这些都依赖专家经验。专利文献cn106570474a公开了一种基于3d卷积神经网络进行微表情识别的方法，专利文献cn113496217 a公开了一种基于面部运动单元和光流的微表情识别方法，这些基于深度学习方法假设可以获取光流或动作单元等局部几何信息，然而，在实际情况中，我们可能因为数据质量和计算资源的限制，无法获得额外的局部几何信息，而且面部动作单元检测本身也是一个具有挑战性的任务。
5、因此，寻找一种更有效的方法来提取微表情的时空特征是一个重要方向。该方法应当减少对手工方法的依赖，并能够从原始数据中自动学习到更抽象、更高级的特征表示，以提高微表情识别的性能和实用性，本专利技术提供一种基于时空特征和注意力机制的微表情识别方法。
技术实现思路
1、根据上述提出不足，而提供一种基于时空特征和注意力机制的微表情识别方法。本专利技术主要利用对微表情视频进行空间归一化处理，得到第一视频；对第一视频进行时间归一化处理，得到第二视频；构建基于层次化视觉自注意力和标记选择的骨干网络；将第二视频输入骨干网络，输出分类标记；采用分类器模块对分类标记进行分类识别，从而避免了对手工光流特征、面部动作单元检测任务的依赖。
2、本专利技术采用的技术手段如下：
3、本专利技术提供了一种基于时空特征和注意力机制的微表情识别方法，包括：
4、对微表情视频进行空间归一化处理，得到第一视频；
5、对所述第一视频进行时间归一化处理，得到第二视频；
6、构建基于层次化视觉自注意力和标记选择的骨干网络；
7、将所述第二视频输入所述骨干网络，输出分类标记；
8、采用分类器模块对所述分类标记进行分类识别。
9、进一步地，所述对微表情视频进行空间归一化处理，包括：
10、所述微表情视频包括m帧图像，对每帧所述图像进行人脸对齐后进行自然人脸裁剪得到微表情图像，将所述微表情图像调整为预设尺寸。
11、进一步地，所述对所述第一视频进行时间归一化处理，包括：
12、设定所述第一视频的归一化值为预设值；
13、所述第一视频包括m帧微表情图像，判断m是否等于所述预设值；
14、若m等于所述预设值，无需处理；
15、若m小于所述预设值，对所述第一视频进行3d线性插值上采样操作，使所述第二视频具有所述预设值帧的所述微表情图像；
16、若m大于所述预设值，将所述第一视频划分为s个语义段，s为所述预设值的z倍，0＜z≤1，从每个所述语义段取连续的q帧所述微表情图像形成所述第二视频，q×s等于所述预设值。
17、进一步地，所述构建基于层次化视觉自注意力和标记选择的骨干网络，包括：
18、将时空块模块、第一阶段模块、第二阶段模块、第三阶段模块、第四阶段模块顺次连接；
19、所述时空块模块将第二视频划分为g个时空块。所述第一阶段模块包括顺次连接的线性变换层、第一层次化视觉注意力模块、第二层次化视觉注意力模块和第一标记注意力模块，所述线性变换层与所述时空块连接；
20、所述第二阶段模块包括顺次连接的第一标记合并模块、第三层次化视觉注意力模块、第四层次化视觉注意力模块和第二标记注意力模块，所述第一标记合并模块与所述第一标记注意力模块连接；
21、所述第三阶段模块包括顺次连接的第二标记合并模块、第五层次化视觉注意力模块、第六层次化视觉注意力模块、第七层次化视觉注意力模块、第八层次化视觉注意力模块、第九层次化视觉注意力模块、第十层次化视觉注意力模块和第三标记注意力模块，所述第二标记合并模块与所述第二标记注意力模块连接；
22、所述第四阶段模块包括顺次连接的第三标记合并模块、第十一层次化视觉注意力模块、第十二层次化视觉注意力模块和第四标记注意力模块，所述第三标记合并模块与所述第三标记注意力模块连接，所述第四标记注意力模块与所述标记选择模块连接。
23、进一步地，所述将所述第二视频输入所述骨干网络，输出分类标记，包括：
24、所述第二视频输入所述骨干网络，经过所述将时本文档来自技高网...
【技术保护点】
1.一种基于时空特征和注意力机制的微表情识别方法，其特征在于，包括：
2.根据权利要求1所述的基于时空特征和注意力机制的微表情识别方法，其特征在于，所述对微表情视频进行空间归一化处理，包括：
3.根据权利要求1所述的基于时空特征和注意力机制的微表情识别方法，其特征在于，所述对所述第一视频进行时间归一化处理，包括：
4.根据权利要求1所述的基于时空特征和注意力机制的微表情识别方法，其特征在于，所述构建基于层次化视觉自注意力和标记选择的骨干网络，包括：
5.根据权利要求4所述的基于时空特征和注意力机制的微表情识别方法，其特征在于，所述将所述第二视频输入所述骨干网络，输出分类标记，包括：
6.根据权利要求1所述的基于时空特征和注意力机制的微表情识别方法，其特征在于，所述分类器模块的分类损失函数，按照以下方式计算：
7.根据权利要求1所述的基于时空特征和注意力机制的微表情识别方法，其特征在于，所述分类器模块的对比损失函数，按照以下方式计算：
【技术特征摘要】
1.一种基于时空特征和注意力机制的微表情识别方法，其特征在于，包括：
2.根据权利要求1所述的基于时空特征和注意力机制的微表情识别方法，其特征在于，所述对微表情视频进行空间归一化处理，包括：
3.根据权利要求1所述的基于时空特征和注意力机制的微表情识别方法，其特征在于，所述对所述第一视频进行时间归一化处理，包括：
4.根据权利要求1所述的基于时空特征和注意力机制的微表情识别方法，其特征在于，所述构建基于层次化视觉自注意...
【专利技术属性】
技术研发人员：王璐，马冰阳，王庆粉，杨婷婷，李若琳，童心，魏宏超，王治博，苗秀丽，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。