一种基于BERT网络的微表情检测方法技术

本发明专利技术涉及一种基于BERT网络的微表情检测方法，包括：A、对微表情视频进行预处理；B、将光流序列划分为训练集和测试集，计算交并比IoU作为该片段的标记值；C、构建时空特征提取模型，包括三维卷积神经网络和BERT网络；D、训练时空特征提取模型；E、根据训练好的时空特征提取模型，评估测试集候选微表情片段的交并比IoU；F、将具有高IoU值的连续候选微表情片段分组合并，并对重叠片段进行抑制，形成最终的微表情检测结果。本发明专利技术提取每一个时隙内的特征，为了更好的关注片段内不同时隙的重要性，利用BERT的注意力机制来提取不同时隙间的特征，充分利用了整个视频序列的信息。

【技术实现步骤摘要】
一种基于BERT网络的微表情检测方法
本专利技术涉及一种基于BERT网络的微表情检测方法，属于深度学习和模式识别

技术介绍
面部表情是由面部肌肉在情绪状态下收缩而产生的一种非语言交流形式。不同的肌肉运动和模式最终反映了不同类型的情绪。以表情强度分类主要分为宏表情和微表情。与宏表情相比，微表情通常发生在较短的持续时间(0.5s内)和较低的强度。微表情是一种短暂的无意识的面部表情，通常出现在人们试图隐藏自己的真实感受时，特别是在高风险的情况下。因此，微表情的研究具有重大意义，是人类情感和情感现象理解的重要课题，已被心理学、社会学、神经科学、计算机视觉等各个学科所探索。这些技能对心理治疗师、面试官和任何从事沟通工作的人都具有实际应用意义。作为微表情分析的一个必要的预处理步骤，微表情检测指的是自动检测视频帧序列中微表情出现的序列片段。目前的微表情检测主要分为两类:起始结束帧检测和高潮帧的检测。起始结束帧检测是通过微表情产生和结束的“窗口”来定位，通常用起始帧和结束帧来标记。Moilanen等人介绍了基于外观特征差异分析的微表情本文档来自技高网...

【技术保护点】
1.一种基于BERT网络微表情检测方法，其特征在于，包括步骤如下：/nA、对微表情视频进行预处理，包括获取视频帧序列、人脸检测与定位、人脸对齐以及提取光流序列特征；/nB、对步骤A中的光流序列，将其划分为训练集和测试集，通过滑窗将光流序列划分为若干个小尺寸的候选微表情片段，计算每个候选微表情片段的交并比IoU作为该片段的标记值；/nC、构建时空特征提取模型，/n所述时空特征提取模型包括三维卷积神经网络和BERT网络，所述三维卷积神经网络提取候选微表情片段的每一个时隙内的特征，所述BERT网络提取候选微表情片段的不同时隙间的特征，并形成该候选微表情片段最终的特征表达；/nD、训练时空特征提取模型...

【技术特征摘要】
1.一种基于BERT网络微表情检测方法，其特征在于，包括步骤如下：
A、对微表情视频进行预处理，包括获取视频帧序列、人脸检测与定位、人脸对齐以及提取光流序列特征；
B、对步骤A中的光流序列，将其划分为训练集和测试集，通过滑窗将光流序列划分为若干个小尺寸的候选微表情片段，计算每个候选微表情片段的交并比IoU作为该片段的标记值；
C、构建时空特征提取模型，
所述时空特征提取模型包括三维卷积神经网络和BERT网络，所述三维卷积神经网络提取候选微表情片段的每一个时隙内的特征，所述BERT网络提取候选微表情片段的不同时隙间的特征，并形成该候选微表情片段最终的特征表达；
D、训练时空特征提取模型；
E、根据训练好的时空特征提取模型，评估测试集候选微表情片段的交并比IoU，IoU称为微表情分数，IoU的取值范围为[0,1]，IoU是指候选微表情片段处于微表情的概率；
F、将具有高IoU值的连续候选微表情片段分组合并，并对重叠片段进行抑制，形成最终的微表情检测结果。


2.根据权利要求1所述的一种基于BERT网络微表情检测方法，其特征在于，步骤A中，对微表情视频进行预处理，包括步骤如下：
1)获取视频帧：对包含微表情的视频进行分帧处理，得到视频帧序列并存储；
2)人脸检测与定位：利用Dlib视觉库对视频帧序列进行人脸检测和定位，给出所检测的视频帧中人脸数目和人脸距图像边界距离；
3)人脸对齐：利用Dlib视觉库确定面部68个关键特征点，完成人脸分割并实现人脸矫正；
人脸分割是指：Dlib视觉库使用矩形框分割人脸；
人脸矫正是指：在检测出的面部68个关键特征点中，标注左眼左眼角的关键特征点37和标注右眼右眼角的关键特征点46的连线与水平线存在角度a，通过该角度a得到对应的旋转矩阵，对分割出的人脸进行旋转变换，使标注左眼左眼角的关键特征点37和标注右眼右眼角的关键特征点46的连线与水平线平行，实现人脸姿态的矫正；并将人脸进行缩放；
4)光流序列特征提取：利用Farneback光流算法提取对齐后的微表情特征，并保存为光流序列。


3.根据权利要求1所述的一种基于BERT网络微表情检测方法，其特征在于，步骤B中，滑窗长度为SW,通过滑窗将光流序列划分为若干个小尺寸候选微表情片段，重叠度大小为Woverlap，计算每个候选微表情片段的交并比IoU作为该片段的标记值，如式(1)所示：



式(1)中，预测片段指的是候选微表情片段的起始帧至结束帧位置，真实片段指真实微表情片段的起始帧至结束帧位置。


4.根据权利要求1所述的一种基于BERT网络微表情检测方法，其特征在于，步骤C中,所述时空特征提取模型包括10层三维卷积残差网络3DResNet和BERT网络；
将微表情候选片段分成t个时隙，使用10层三维卷积残差网络3DResNet提取时隙的时间和空间特征；
之后将每个时隙内的特征向量即提取到...

【专利技术属性】
技术研发人员：贲晛烨，宋延新，熊海良，翟鑫亮，姚军，李玉军，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37