一种基于多元光流特征融合的微表情识别方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于多元光流特征融合的微表情识别方法、系统、装置及存储介质，方法包括获取原始视频，通过多种光流算法分别生成光流图像并提取其中的水平光流向量和垂直光流向量进行叠加叠加，得到水平图像、垂直图像和整体图像并输入MRKCBN网络模型进行特征提取，输出对应的图像输出特征得到局部特征；将其中一种光流算法生成的光流图像输入VIT网络模型进行特征提取输出全局特征，将局部特征和全局特征拼接得到拼接特征；将拼接特征通过APSB模块进行特征融合得到融合特征；将融合特征通过全连接层进行分类得到微表情识别结果。本发明专利技术通过多种光流算法进行光流信息融合，提高识别的准确性；通过MRKCBN和APSB兼顾了局部特征和全局特征。

【技术实现步骤摘要】

本专利技术属于计算机微表情识别，具体涉及一种基于多元光流特征融合的微表情识别方法、系统、装置及存储介质。

技术介绍

1、微表情识别是一项近年来备受关注的研究领域，它涉及到人类情感与认知的深层次理解，并可以应用于许多领域，如心理学、医学、安全监控等。在微表情识别领域，由于光流来自连续帧之间亮度的差异，从而能够估计细微的面部动作，研究人员在此基础上提出了多种基于光流的微表情识别方法。

2、现有的微表情识别方法存在以下缺陷：

3、（1）虽然应用了光流来获取面部运动差异，但是并没有充分应用光流算法，在面部受到光照变化、面部遮挡或表情强度不一致等问题的影响时，其识别准确性大大降低。

4、（2）现有的微表情识别方法采用的cbam模块中的通道注意力机制使用mlp来压缩通道。然而mlp容易陷入局部最优解，而非全局最优解，且mlp无法达到kan的逼近能力、准确性以及可解释性。同时，空间注意力机制使用普通2d卷积对于拼接后的特征进行特征提取，2d卷积只捕获局部领域内信息的局限性，这导致其对于全局特征的难以理解。

<p>5、（3）现有的本文档来自技高网...

【技术保护点】

1.一种基于多元光流特征融合的微表情识别方法，其特征在于，包括：

2.根据权利要求1所述的基于多元光流特征融合的微表情识别方法，其特征在于，所述获取原始视频，对原始视频预处理后通过多种光流算法分别生成光流图像，包括：

3.根据权利要求2所述的基于多元光流特征融合的微表情识别方法，其特征在于，所述多种光流算法包括TVL1、DIS和PCA。

4.根据权利要求1所述的基于多元光流特征融合的微表情识别方法，其特征在于，所述MRKCBN网络模型的构建过程，包括：

5.根据权利要求4所述的基于多元光流特征融合的微表情识别方法，其特征在于，所述KCBAM...

【技术特征摘要】

1.一种基于多元光流特征融合的微表情识别方法，其特征在于，包括：

2.根据权利要求1所述的基于多元光流特征融合的微表情识别方法，其特征在于，所述获取原始视频，对原始视频预处理后通过多种光流算法分别生成光流图像，包括：

3.根据权利要求2所述的基于多元光流特征融合的微表情识别方法，其特征在于，所述多种光流算法包括tvl1、dis和pca。

4.根据权利要求1所述的基于多元光流特征融合的微表情识别方法，其特征在于，所述mrkcbn网络模型的构建过程，包括：

5.根据权利要求4所述的基于多元光流特征融合的微表情识别方法，其特征在于，所述kcbam模块包括通道注意力模块kcam和空间注意力模块ksam；

6.根据权利要求1所述的基于...

【专利技术属性】
技术研发人员：郑豪，杨佳铮，常合友，杨帆，周守业，金勇，张恒，
申请(专利权)人：南京晓庄学院，
类型：发明
国别省市：