一种基于注意力机制的三维卷积微表情识别算法制造技术

本发明专利技术公开了一种基于注意力机制的三维卷积微表情识别方法，首先进行数据集预处理，数据集预处理部分包括：人脸剪裁、人脸对齐、视频序列帧数统一；再通过视频序列提取光流序列；再将提取出来的光流序列与视频序列分别输入三维卷积、三维池化、Attention后得到对应的新的光流序列与视频序列特征；使用Co‑Attention进行特征引导，先使用视频序列特征引导光流序列特征，再使用引导后的光流序列特征引导视频序列特征；将引导后的特征进行融合得到联合特征；将联合特征送入到分类层进行微表情分类识别。本发明专利技术使用三维卷积神经网络提取时空特征，再结合注意力机制提取关键特征，在两个公开的数据集上SMIC与CASMEⅡ进行实验，提高了微表情识别的准确性。

【技术实现步骤摘要】
一种基于注意力机制的三维卷积微表情识别算法
本专利技术属于信息
，涉及视频序列处理、光流序列处理、微表情识别，具体是一种基于注意力机制的三维卷积微表情识别算法。
技术介绍
面部表情包含宏表情与微表情，宏表情是在我们生活中较容易观察到的，持续时间比较长，且面部肌肉收缩或舒张幅度比较大；微表情持续时间在1/25-1/2秒之间，持续时间比较短，肌肉收缩或舒张幅度较小，因此大多人往往难以觉察到它的存在。由于微表情更倾向于那些被抑制的表情，因此微表情更能体现人们真实的感受和动机，可以应用在不同的领域:警察诊断，商务谈判，精神分析等领域。微表情识别是指在已经确定是微表情的情况下进行详细分类(如：积极、消极、惊讶)。传统的微表情识别算法使用LBP、LBP-TOP、LBP-SIP等算子来提取纹理信息，再结合SVM、多核分类器以及随机森林来识别微表情。传统的微表情识别方法把特征提取和分类器设计分开来做，然而因为手工设计特征需要大量的经验以及调试工作，其次选择一个比较合适的分类器算法也是一大难点。近年来，随着深度学习的发展，深度神经网络算法以及注意力本文档来自技高网...

【技术保护点】
1.一种基于注意力机制三维卷积微表情识别网络模型的建立方法，其特征在于，包括以下步骤：/n步骤1，采用自监督方法对微表情视频序列数据集进行光流提取，得到光流序列：提取后每个微表情视频序列均对应一组光流序列；/n步骤2，建立基于注意力机制三维卷积微表情识别网络模型：/n包括卷积层，池化层，Attention层，Co-Attention层，以及全连接层和分类器；/n通过Attention层将步骤1的微表情视频序列与步骤1得到的光流序列分别经过视频序列特征提取与光流序列特征提取，得到视频序列特征向量和光流序列特征向量；/n通过Co-Attention层将Attention层得到的视频序列特征向量和光...

【技术特征摘要】
1.一种基于注意力机制三维卷积微表情识别网络模型的建立方法，其特征在于，包括以下步骤：
步骤1，采用自监督方法对微表情视频序列数据集进行光流提取，得到光流序列：提取后每个微表情视频序列均对应一组光流序列；
步骤2，建立基于注意力机制三维卷积微表情识别网络模型：
包括卷积层，池化层，Attention层，Co-Attention层，以及全连接层和分类器；
通过Attention层将步骤1的微表情视频序列与步骤1得到的光流序列分别经过视频序列特征提取与光流序列特征提取，得到视频序列特征向量和光流序列特征向量；
通过Co-Attention层将Attention层得到的视频序列特征向量和光流序列特征向量的相互引导并融合，得到联合特征向量；
将所述联合特征向量输入到全连接层进行微表情分类识别，得到微表情分类识别结果；
使用交叉熵函数作为该网络模型的损失函数，并使用Adam优化策略来训练网络模型学习，该网络模型是双流输入，训练时该网络模型的输入为步骤1的微表情视频序列和对应的得到的光流序列，输出是positive、surprise、negative和other中的其中一种。


2.如权利要求1所述基于注意力机制三维卷积微表情识别网络模型的建立方法，其特征在于，步骤1前需要对数据集进行预处理，该数据集包括多个微表情视频序列，每个微表情视频序列均由一组视频帧构成。

【专利技术属性】
技术研发人员：赵国英，毋婷婷，李展，樊青晨，刘盱衡，张海，彭进业，温超，章勇勤，杨溪，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西;61