基于多模态自监督对比学习的微表情识别方法及其系统技术方案

本发明专利技术公开了一种基于多模态自监督对比学习的微表情识别方法及其系统，将自监督对比学习和微表情识别相结合，设计一个新的微表情识别框架；引入多模态信息进行对比，利用同一样本多种模态间的关联信息，构建具有高鲁棒性和强泛化能力的模型，包括：对微表情数据集进行数据预处理，包括对无标签样本进行人脸检测和人脸动作单元识别，以及对所有样本进行人脸规范化裁剪；使用多模态对比学习方法进行自监督预训练，挖掘同一微表情样本多种模态的关联信息；使用迁移学习方法，将自监督预训练阶段学到的特征迁移到微表情识别任务，进行微表情识别。本发明专利技术可充分利用大量的无标签数据和不同模态的信息，有效提高了微表情的识别率。有效提高了微表情的识别率。有效提高了微表情的识别率。

【技术实现步骤摘要】
基于多模态自监督对比学习的微表情识别方法及其系统


[0001]本专利技术属于计算机视觉和微表情识别
，具体涉及一种基于多模态自监督对比学习的微表情识别方法及其系统。

技术介绍

[0002]微表情作为一种难以掩饰和伪装的自发性动作，是非常重要的非语言交流线索，它可以揭示真实的情绪和个人的心理状态，可以被广泛地应用于国家安全、临床诊断、学生教育、卫生防疫等领域。但是受限于微表情本身的局部性、持续时间非常短和难以标注等特性，当前识别方法在准确性、鲁棒性和泛化性上还很难满足实际应用需求。同时对微表情的人工标注需要耗费大量人力物力，因此它仍是一个极具挑战性的问题。
[0003]随着信息技术的飞速发展和互联网技术的普及，社会正在进入大数据时代。文本、图像、视频等多媒体信息数据量呈爆炸性增长，每天以亿级别的数据被传播到网络中。巨大的数据量和多样复杂的数据结构，给数据的分析和理解带来了挑战和机遇。在大数据时代，监督学习需要充足的人工标注数据，而获取大量的人工标注信息的代价是非常昂贵的，主要体现在：(1)需要标注的数据量巨大；(2)标注信息的内容复本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态自监督对比学习的微表情识别方法，其特征在于，将自监督对比学习和微表情识别相结合，设计一个新的微表情识别框架；引入多模态信息进行对比，利用同一样本多种模态间的关联信息，构建具有高鲁棒性和强泛化能力的模型，具体包括以下步骤：步骤一、对微表情数据集进行数据预处理，包括对无标签样本进行人脸检测和人脸动作单元识别，以及对所有样本进行人脸规范化裁剪；步骤二、使用多模态对比学习方法进行自监督预训练，挖掘同一微表情样本多种模态的关联信息；步骤三、使用迁移学习方法，将自监督预训练阶段学到的特征迁移到微表情识别任务，进行微表情识别；所述的微表情数据集为：DB＝{x1,x2,
…
,x
m
,x
m+1
,...,x
n
}，其中n为微表情数据集的样本个数，索引1～m为无标签部分微表情样本，索引m+1～n为有标签部分微表情样本。2.根据权利要求1所述的一种基于多模态自监督对比学习的微表情识别方法，其特征在于，所述步骤一中的对无标签样本进行人脸检测和人脸动作单元识别，具体过程包括：S11.人脸检测：通过OpenFace和Dlib工具在输入图像上检测人脸的位置；S12.人脸动作单元识别：人脸动作单元识别涵盖AU检测和AU强度估计2个子任务；AU检测的作用是预测输入的人脸图像上每个AU是否出现，输出为每个AU出现的概率；而AU强度估计的作用是预测每个AU出现的强度；微表情数据集中无标签部分的样本为DB1＝{x1,x2,
…
,x
m
}，针对AU检测子任务，某一样本中每个AU出现的概率为：其中，u为人脸图像上AU的数量；AU检测采用多标签交叉熵损失其公式为：其中，p
ij
是第i个无标签样本中第j个AU真实出现的概率，是第i个无标签样本中第j个AU预测出现的概率，1表示出现，0表示未出现；针对AU强度估计子任务，将AU被预测的概率转换为强度，公式为T＝[0,5]为强度级别，则每个AU出现的强度为：其中，表示i个样本中第j个AU出现的强度；得到每一个样本的AU检测结果与AU强度估计分数之后，对于同时满足AU检测结果为1，即该AU检测为激活状态且AU强度估计分数高于阈值的样本，统一纳入候选集；而针对有标签部分微表情样本，直接纳入候选集。3.根据权利要求1所述的一种基于多模态自监督对比学习的微表情识别方法，其特征
在于，所述步骤一中的对无标签候选集以及微表情数据集有标签部分的人脸规范化裁剪，具体过程包括：S13.人脸规范化裁剪：首先使用Dlib工具检测出每个样本的人脸特征点，记为S13.人脸规范化裁剪：首先使用Dlib工具检测出每个样本的人脸特征点，记为其中j的取值范围1～68，分别代表人脸的68个特征点；根据图像中人脸特征点的坐标计算合适的裁剪区域，包括：对于左、右、下边界，使用脸颊两侧与下颌的特征点来限定，即取以及的坐标；对于上边界，使用限定人脸眉毛上方拓展区域与左右两侧眉毛下方与眼睛上方的平均距离相等，即向上拓展毛上方拓展区域与左右两侧眉毛下方与眼睛上方的平均距离相等，即向上拓展接着以同样的裁剪操作应用于剩余每个微表情样本；由于微表情数据集中每个样本具有多种模态，包括彩图、深度流和光流，在彩图RGB模态下所进行的人脸关键点位置检测以及规范化裁剪的操作，需要同时应用到深度流和光流模态数据中；最后分别在各模态部分将处理过后的有标签数据集和无标签数据集进行组合，最终得到自监督预训练阶段所需的数据集。4.根据权利要求1所述的一种基于多模态自监督对比学习的微表情识别方法，其特征在于，所述步骤二中使用多模态对比学...

【专利技术属性】
技术研发人员：黄树成，周浩樑，朱霞，缪宇晗，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：