【技术实现步骤摘要】
本专利技术涉及人脸微表情识别，具体涉及一种基于对比学习及特征解耦的人脸微表情识别方法。
技术介绍
1、微表情识别(micro-expression recognition,mer)是心理学与计算机视觉两大学科交融下的研究焦点。作为一种在极短时间内产生的、非自主的面部动作，微表情为我们提供了洞察和解析个体内在情感状态的珍贵线索。无论是在国家安全防范、精神疾病的早期发现，还是在人机交互的应用中，微表情识别都表明了其巨大的实用价值。尽管如此，由于微表情本身的短暂性、细微差别和强度较低的特点，实现其精准识别仍存在许多技术上的挑战。目前存在的微表情数据集规模较小，以及受试者之间的差异，都给开发高效的识别算法带来了额外的困难。为此，深度学习方法逐渐在微表情识别领域中崭露头角，其背后得益于深度学习在处理复杂数据上的自动特征提取与识别能力。总体上看，无论从学术研究的深度还是应用的广度来看，微表情识别都具备广泛的前景。进一步提升微表情识别技术的准确率，无疑将对多个领域带来实质性的益处
2、在当前微表情识别
，尽管卷积神经网络已经确立为核心解决策略。但大量相关研究似乎专注于微表情的起始帧、峰值帧间光流数据及其固有特征。显然，从峰值帧至偏移帧间所含有的特征信息被普遍忽视，而实际上，这部分数据在某些具体情境下具有决定性意义。cn114550270a公开了一种基于双注意力机制的微表情识别方法，采用通道注意力机制和空间注意力机制关注微表情的局部区域，但提取的光流图仅考虑起始帧和峰值帧，提取的特征不充分，忽视了峰值帧到偏移帧间的光流信息。更
3、因此，面对此类技术挑战和现有方法的限制，开发一种能够准确捕捉并识别微表情细节的新方法变得尤为重要。
技术实现思路
1、本专利技术为解决现有识别方法在微表情定位不准确、样本数量不足、无法有效捕捉细微变化、以及身份信息干扰识别的问题，提供一种基于对比学习及特征解耦的人脸微表情识别方法。
2、一种基于对比学习及特征解耦的人脸微表情识别方法，具体由以下步骤实现：
3、步骤一、获取微表情数据集，在所述数据集中提取起始帧、峰值帧和偏移帧；
4、步骤二、提取起始帧与峰值帧之间的光流特征，获得起始帧与峰值帧之间的光流特征图；提取峰值帧与偏移帧之间的光流特征，获得峰值帧与偏移帧间的光流特征图；
5、步骤三、对所述起始帧和偏移帧，提取面部的静态特征；对所述峰值帧提取面部的动态特征；将峰值帧中的动态特征与所述静态特征进行差异化处理，获得两个经过解耦处理的面部差异特征；
6、步骤四、将步骤二获得的两个光流特征图通过光流特征分支对比学习网络进行光流分支特征的提取，获得光流分支特征；
7、步骤五、根据步骤四获得的光流分支特征以及步骤三获得的面部差异特征进行特征拼接，获得微表情识别结果。
8、本专利技术的有益效果：本专利技术方法基于对比学习与特征解耦的人脸微表情识别策略。该方法重点在于解耦身份信息对最终识别结果可能产生的任何干扰，确保模型仅针对微表情进行准确捕捉与分析。为进一步提升模型的鉴别能力，本方法选用微表情序列中起始帧至峰值帧以及峰值帧至偏移帧的双端光流信息。同时，采用对比学习的方式，可以更有效地强化模型在微表情识别上的性能。此策略旨在全面解决
技术介绍
所述的问题，提供一个更为高效和准确的识别方法。其具备下述优点：
9、1、本专利技术所述方法采用了获取序列双端光流图的策略，旨在详细捕获从起始帧至峰值帧，以及从峰值帧至偏移帧之间的特征，为微表情精确识别提供坚实基础。在扩展有限数据集的同时，充分利用序列双端关键信息，丰富样本特征空间，并将双端光流图提取的特征与解耦后的差异特征拼接。此种策略能有效解决因网络结构限制导致无法捕捉面部细微运动特征的问题，同时还有效缓解微表情样本数量有限和微表情定位不精准导致的识别不准确问题，为微表情识别带来更全面深入的特征描述。
10、2、本专利技术所述方法对输入样本进行特征提取和解耦，利用峰值帧与起始帧、偏移帧间的特征差异强化网络对于帧间像素动态变化敏感度。旨在最大限度减少身份信息的影响，进而更专注于微表情动作细节。与传统方法相比，此策略能够更精准捕捉并关注微表情中的关键动作信息，为后续的微表情识别分析提供了更为稳健与精确的基础。
11、3、本专利技术所述方法采用视觉自注意力网络结构并结合对比学习策略进行光流特征提取网络构建，视觉自注意力网络结构在处理光流图时，能够捕获其内部的全局依赖关系，并确保每一个像素或区域都与其他相关的像素或区域产生联系。在此基础上，对比学习策略进一步增强光流样本间的鉴别性，使不同微表情特征能更明显地被区分开。此种综合应用策略不仅强化网络对微表情局部细节的捕捉能力，还确保对全局动态特征的深入理解。因此，该方法为人脸微表情识别研究领域提供了一种具有应用前景的技术方法。
本文档来自技高网...【技术保护点】
1.一种基于对比学习及特征解耦的人脸微表情识别方法，其特征是：该识别方法由以下步骤实现：
2.根据权利要求1所述一种基于对比学习及特征解耦的人脸微表情识别方法，其特征在于：步骤一中，对于未明确标记峰值帧序号的数据集，采取将序列中的中间帧视为峰值帧的策略确保数据完整性；对于已经明确标注具体帧序号的数据集，直接根据标注文件提取每个序列的起始帧、峰值帧以及偏移帧。
3.根据权利要求1所述一种基于对比学习及特征解耦的人脸微表情识别方法，其特征在于：步骤一中，还包括采用Dlib工具对输入的图像或视频帧进行人脸检测，确保图像中的人脸被准确地定位，并对检测及定位的人脸进行裁剪后归一化处理，用于实现特征提取。
4.根据权利要求1所述一种基于对比学习及特征解耦的人脸微表情识别方法，其特征在于：步骤二中，对于起始帧与峰值帧之间的光流特征，峰值帧与偏移帧之间的光流特征的提取方法相同；具体为：
5.根据权利要求1所述一种基于对比学习及特征解耦的人脸微表情识别方法，其特征在于：步骤三的具体过程为：
6.根据权利要求5所述一种基于对比学习及特征解耦
7.根据权利要求1所述一种基于对比学习及特征解耦的人脸微表情识别方法，其特征在于：步骤四的具体过程为：构建光流特征分支对比学习网络，所述光流特征分支对比学习网络包括数据增强模块、卷积起始模块、视觉注意力编码器和投影层；
...【技术特征摘要】
1.一种基于对比学习及特征解耦的人脸微表情识别方法，其特征是：该识别方法由以下步骤实现：
2.根据权利要求1所述一种基于对比学习及特征解耦的人脸微表情识别方法，其特征在于：步骤一中，对于未明确标记峰值帧序号的数据集，采取将序列中的中间帧视为峰值帧的策略确保数据完整性；对于已经明确标注具体帧序号的数据集，直接根据标注文件提取每个序列的起始帧、峰值帧以及偏移帧。
3.根据权利要求1所述一种基于对比学习及特征解耦的人脸微表情识别方法，其特征在于：步骤一中，还包括采用dlib工具对输入的图像或视频帧进行人脸检测，确保图像中的人脸被准确地定位，并对检测及定位的人脸进行裁剪后归一化处理，用于实现特征提取。
4.根...
【专利技术属性】
技术研发人员：于正洋，陈晓娟，曲畅，李雪，于皓宇，张昭华，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。