基于光流注意力神经网络的跨库微表情识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于光流注意力神经网络的跨库微表情识别方法及装置，方法包括：(1)获取两个不同的微表情数据库作为训练集和测试集；(2)将微表情视频转化为人脸图像序列；(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成融合特征图；(5)建立光流注意力神经网络，并将训练集和测试集对应融合特征图作为输入进行训练；(6)将待识别的微表情视频处理得到融合特征图，输入光流注意力神经网络，得到微表情类别。本发明专利技术泛化能力强，识别准确率高。

Method and device of cross database micro expression recognition based on optical flow attention neural network

The invention discloses a cross library micro expression recognition method and device based on optical flow attention neural network, the method includes: (1) acquiring two different micro expression databases as training sets and test sets; (2) transforming micro expression video into face image sequences; (3) extracting start frame, peak frame and end frame from each face image sequence, and calculating them from start frame and peak frame The first single channel optical flow graph is calculated from the peak frame and the termination frame to obtain the second single channel optical flow graph; (4) the first single channel optical flow graph, the second single channel optical flow graph and the peak frame of each face image sequence are composed of the fusion feature graph; (5) the optical flow attention neural network is established, and the fusion feature graph corresponding to the training set and the test set is used as the input for training; (6) the micro table to be identified is used The fusion feature map is obtained by emotion video processing, and the micro expression category is obtained by inputting the optical flow attention neural network. The invention has strong generalization ability and high recognition accuracy.

【技术实现步骤摘要】
基于光流注意力神经网络的跨库微表情识别方法及装置
本专利技术涉及图像处理技术，尤其涉及一种基于光流注意力神经网络的跨库微表情识别方法及装置。
技术介绍
微表情(Micro-Expression)是一种人类在试图隐藏某种情感时无意识做出的短暂的面部表情。微表情是一种重要的真实情感信息，通常能够有效地反应一个人的真实心理状态，被认为是识别谎言的关键信息，对理解人类真实情感状态，有着重要的作用。因此，有效准确识别微表情，对日常生产生活有着重大的意义。例如，在刑侦时，经过微表情识别训练的审讯员可以更有效地判断嫌疑人话语的真实性，更有针对性地获取可靠信息；在临床医疗中，医生可以通过微表情识别有效推测患者的真实状态，从而更有效地与患者交流，改进治疗方案。与普通表情相比，微表情持续非常短，研究表明微表情仅持续1/25～1/3s。与此同时微表情面部肌肉动作幅度也非常小，通常只发生在人脸中很小的一部分区域，不会同时出现在上半脸和下半脸。因此对于没有经过专业训练的普通人，捕捉并正确识别微表情有着相当的难度。但人工识别微表情的经济成本和时间成本较高，难以大规模推广，并且人工识别易受环境的影响。受益于计算机视觉技术的快速发展，当前通过计算机手段自动识别微表情具有一定的可行性和商业价值。微表情识别指将给定的微表情样本识别为某一具体的情绪类别，相关研究主要基于传统机器学习方法，依靠LBP相关的时空描述子特征或光流相关的特征。LBP-TOP特征是局部二值模式(LocalBinaryPattern,LBP)在三维空间上的拓展，可有效描述图片序列的动态纹理特征，最早由Pfister等人应用于微表情识别，随后其大量改进模式被广泛应用于微表情识别，如Huang等人提出的完备局部量化模式(SpatialTemporalCompletedLocalQuantizedPattern,STCLQP)；Wang等人提出的六交点局部二值模式(LBPwithSixIntersectionPoints,LBP-SIP)等等。另一主流特征是光流(OpticalFlow,OF)，时序动态信息被证明是微表情的有效描述手段，而有关光流的研究证实了图像序列的时序动态信息可以有效改进微表情识别的效果，如Xu等人提出的面部动力谱特征(FacialDynamicsMap,FDM)；Liu等人提出的主方向平均光流特征(MainDirectionalMeanOpticalflowfeature,MDMO)等等。随着深度学习的飞速发展，研究人员也在着手将其应用于微表情识别工作。Kim等人提出了一个基于卷积神经网络(ConvolutionalNeuralNetwork,CNN)和长短时记忆循环神经网络(LongShortTermMemoryRecurrentNeuralNetwork,LSTMRNN)的时空特征学习网络，该方法使用所有微表情视频样本的峰值帧训练CNN学习空间特征，而后使用CNN的输出作为特征训练LSTM网络学习时间特征，这是深度学习在微表情识别工作上的首次尝试。当前绝大部分有关微表情识别的研究仅可以取得60％以上的识别率，距离实际应用仍有一段距离；此外随着微表情数据集的扩充，基于深度学习的方法将是微表情识别在未来的主要研究方向之一，但目前相关研究较少，整体进展也较为缓慢。传统微表情识别往往在单个微表情库上进行训练和测试，而同一微表情数据库数据通常建立在相同的实验范式下，训练集和测试集选自同一数据库，往往不能有效的识别其他微表情数据库中的样本，泛化能力差。
技术实现思路
专利技术目的：本专利技术针对现有技术存在的问题，提供一种基于光流注意力神经网络的跨库微表情识别方法，泛化能力更强，准确率更高。技术方案：本专利技术所述的基于光流注意力神经网络的跨库微表情识别方法包括：(1)获取两个不同的微表情数据库，分别作为训练集和测试集，其中，每个数据库中包含有若干个微表情视频及其对应的微表情类别标签；(2)将训练集和测试集中所有微表情视频转化为对应的人脸图像序列；(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成一幅多通道图像，作为对应微表情视频的融合特征图；(5)建立光流注意力神经网络，并将训练集和测试集中微表情视频的融合特征图同时输入进行训练，训练时采用的整体损失函数为：训练集对应的神经网络输出和测试集对应的神经网络输出的最大均值差异，加上训练集对应的神经网络输出经过Softmax处理得到的微表情类别和训练集中存储的微表情类别标签的交叉熵；(6)将待识别的微表情视频按照步骤(2)～(4)进行处理，得到融合特征图，并将得到的融合特征图输入训练好的光流注意力神经网络，输出即为识别出的微表情类别。进一步的，训练集和测试集中，同一类别的微表情视频的类别标签相同。进一步的，步骤(2)具体包括：(2-1)获取训练集和测试集中所有微表情视频的起始帧；(2-2)对起始帧进行人脸检测，得到人脸位置信息；(2-3)根据起始帧的人脸位置信息，从微表情视频的每帧图像中裁剪出矩形人脸图像，得到人脸图像序列。进一步的，步骤(3)具体包括：(3-1)从所获取的人脸图像序列中抽取起始帧、峰值帧和终止帧；(3-2)计算起始帧和峰值帧之间、峰值帧和终止帧之间的水平方向光流场和垂直方向光流场；(3-3)对于起始帧和峰值帧之间的水平方向光流场和垂直方向光流场，将其由笛卡尔坐标转换为极坐标，将相应坐标的值转换为HSV颜色空间的值，之后转换为灰度图像，作为第一单通道光流图；(3-4)对于峰值帧和终止帧之间的水平方向光流场和垂直方向光流场，按照步骤(3-3)做同样处理，得到第二单通道光流图。进一步的，步骤(5)具体包括：(5-1)建立光流注意力神经网络，所述光流注意力神经网络包括五个卷积层、六个线性整流层、四个最大池化层和两个全连接层，前四个卷积层后都依次连接一个线性整流层和一个最大池化层，第五个卷积层后依次连接一个线性整流层、一个全连接层、一个线性整流层和一个全连接层，最后一个全连接层的输出为神经网络的输出；(5-2)将训练集和测试集中微表情视频的融合特征图同时输入光流注意力神经网络进行训练训练时采用的整体损失函数Lall为：Lall＝Ls+λMMD(Ds,Dt)式中，Ls为训练集输出经过Softmax处理得到的微表情类别q(x)和训练集中存储的微表情类别标签p(x)的交叉熵，x表示对应样本，n表示Softmax处理后的输出个数，λ表示权重系数，MMD(Ds,Dt)为Ds,Dt的最大均值差异，为训练集输出，元素为M个，为测试集输出，元素为N个，k()表示高斯核函数。本专利技术所述的基于光流注意力神经网络的跨库微表情识别装置包括存储器和处理器，所述存储器中存储有计算机程序，所述处本文档来自技高网...

【技术保护点】
1.一种基于光流注意力神经网络的跨库微表情识别方法，其特征在于该方法包括：/n(1)获取两个不同的微表情数据库，分别作为训练集和测试集，其中，每个数据库中包含有若干个微表情视频及其对应的微表情类别标签；/n(2)将训练集和测试集中所有微表情视频转化为对应的人脸图像序列；/n(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；/n(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成一幅多通道图像，作为对应微表情视频的融合特征图；/n(5)建立光流注意力神经网络，并将训练集和测试集中微表情视频的融合特征图同时输入进行训练，训练时采用的整体损失函数为：训练集对应的神经网络输出和测试集对应的神经网络输出的最大均值差异，加上训练集对应的神经网络输出经过Softmax处理得到的微表情类别和训练集中存储的微表情类别标签的交叉熵；/n(6)将待识别的微表情视频按照步骤(2)～(4)进行处理，得到融合特征图，并将得到的融合特征图输入训练好的光流注意力神经网络，输出即为识别出的微表情类别。/n

【技术特征摘要】
1.一种基于光流注意力神经网络的跨库微表情识别方法，其特征在于该方法包括：
(1)获取两个不同的微表情数据库，分别作为训练集和测试集，其中，每个数据库中包含有若干个微表情视频及其对应的微表情类别标签；
(2)将训练集和测试集中所有微表情视频转化为对应的人脸图像序列；
(3)从每一人脸图像序列中抽取起始帧、峰值帧和终止帧，由起始帧和峰值帧计算得到第一单通道光流图，由峰值帧和终止帧计算得到第二单通道光流图；
(4)将每一人脸图像序列的第一单通道光流图、第二单通道光流图和峰值帧组成一幅多通道图像，作为对应微表情视频的融合特征图；
(5)建立光流注意力神经网络，并将训练集和测试集中微表情视频的融合特征图同时输入进行训练，训练时采用的整体损失函数为：训练集对应的神经网络输出和测试集对应的神经网络输出的最大均值差异，加上训练集对应的神经网络输出经过Softmax处理得到的微表情类别和训练集中存储的微表情类别标签的交叉熵；
(6)将待识别的微表情视频按照步骤(2)～(4)进行处理，得到融合特征图，并将得到的融合特征图输入训练好的光流注意力神经网络，输出即为识别出的微表情类别。


2.根据权利要求1所述的基于光流注意力神经网络的跨库微表情识别方法，其特征在于：训练集和测试集中，同一类别的微表情视频的类别标签相同。


3.根据权利要求1所述的基于光流注意力神经网络的跨库微表情识别方法，其特征在于：步骤(2)具体包括：
(2-1)获取训练集和测试集中所有微表情视频的起始帧；
(2-2)对起始帧进行人脸检测，得到人脸位置信息；
(2-3)根据起始帧的人脸位置信息，从微表情视频的每帧图像中裁剪出矩形人脸图像，得到人脸图像序列。


4.根据权利要求1所述的基于光流注意力神经网络的跨库微表情识别方法，其特征在于：步骤(3)具体包括：

【专利技术属性】
技术研发人员：郑文明，夏万闯，宗源，江星洵，路成，刘佳腾，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32