一种基于卷积神经网络的像素位移向量的微表情识别方法技术

本发明专利技术提供一种基于卷积神经网络的像素位移向量的微表情识别方法，建立基于像素位移生成模块的端到端的的微表情识别网络，基于微表情识别网络的处理流程：选取最大帧，包括在训练过程中随机选取原最大帧前后某一帧作为最大帧图像；将所选最大帧图像与起始帧图像一同输入像素位移生成模块，输出两幅图像间的像素位移向量特征图；计算相关损失函数，包括先对生成的位移向量特征图进行采样得到位移特征图，再采样生成近似最大帧图像，计算重建损失和正则损失；归一化操作，包括对生成的像素位移向量特征图进行归一化；进行特征学习和微表情分类，包括将最大帧图像与归一化后的像素位移向量特征图相连接后一起输入分类网络，得到分类预测结果。到分类预测结果。到分类预测结果。

【技术实现步骤摘要】
一种基于卷积神经网络的像素位移向量的微表情识别方法


[0001]本专利技术属于微表情识别
，涉及一种基于动态特征表示的微表情识别技术。

技术介绍

[0002]目前，用于微表情识别的主流深度学习方法分为两大类：
[0003]第一大类是将图像序列中的各帧依次进行特征提取并输入时间序列神经网络，同时学习空间分布和时间变化特征。如近年提出的ELRCN网络(文献1)，其实验结果表明时间和空间特征在微表情识别中发挥着不同的作用，而好的识别效果依赖于二者的有效结合。
[0004]第二大类将整个表情序列的变化特征提取为一张特征图，直接输入分类网络进行预测，通常利用微表情片段的起始帧和最大帧之间的变化差异特征进行分类。特征提取方法在不断改善，早期普遍使用LBP
‑
TOP(文献2)提取微表情的时空变化特征，并用作该领域的基准方法。基于该方法，一系列LBP变种也逐一被提出，以改善提取特征的质量和鲁棒性。后来逐步被Optical flow(文献3)所取代，Optical flow估算两帧之间物体位置的改变，表征图像像素移动的方向和大小，可以较为鲁棒地提取帧间物体运动信息。Bi
‑
WOOF(文献4)则在Optical flow的基础上又计算了Optical strain作为补充。除此之外，提取微表情片段变化特征的方法还有用于动作识别领域的Dynamic imaging(文献5)方法，把一个图片序列压缩为一张RGB图像，其中包含着整个图像序列的空间特征和时间动态特征。
[0005]但是目前表情序列的变化特征提取都是在训练的预处理过程中实现，局限于各自的处理过程，没有与用于分类的深度学习网络相融合，不能根据分类效果的反馈调节其生成的动态特征，缺乏足够的灵活性和适应性。
[0006]相关文献：
[0007]【文献1】H.Khor,J.See,R.C.Phan,W.Lin,“Enriched Long
‑
term Recurrent Convolutional Network for Facial Micro
‑
Expression Recognition,”Proceedings of the 2018International Conference on Automatic Face&Gesture Recognition(FG),2018,pp.667
–
674.
[0008]【文献2】G.Zhao,M.Pietikainen,“Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions,”Pattern Analysis and Machine Intelligence,IEEE Transactions,2009,pp.915
–
928.
[0009]【文献3】D.Fleet,Y.Weiss,“Optical Flow Estimation,”Springer US,2006.
[0010]【文献4】Liong ST,See J,Wong K,Phan RC,“Less is more:Micro
‑
expression recognition from video using apex frame,”Signal Processing:Image Communication,2018,pp.62:82
–
92.
[0011]【文献5】H.Bilen,B.Fernando,E.Gavves,A.Vedaldiand S.Gould,“Dynamic image networks for action recognition,”In Proc.IEEE Int.Conf.Comput.Vis.Pattern Recognit,2016,pp.3034
–
3042.

技术实现思路

[0012]针对现有微表情识别方法存在的上述不足，本专利技术以深度学习为基础，提出一种基于像素位移生成模块的端到端的微表情识别网络，给位移特征提取和表情识别分类的模块更多可以根据数据自动调节的空间，以增加模型的整体契合度。
[0013]本专利技术的技术方案为一种基于卷积神经网络的像素位移向量的微表情识别方法，建立基于像素位移生成模块的端到端的的微表情识别网络，基于微表情识别网络的处理流程包括以下步骤，
[0014]选取最大帧，包括在训练过程中随机选取原最大帧前后某一帧作为最大帧图像；
[0015]生成像素位移向量特征图，包括将所选最大帧图像与起始帧图像一同输入像素位移生成模块，经过各卷积层的学习和特征融合，输出两幅图像间的像素位移向量特征图；
[0016]计算相关损失函数，包括先对生成的位移向量特征图进行双线性插值上采样得到与最大帧相同大小的位移特征图，再根据位移特征图对原起始帧图像进行采样生成近似最大帧图像，根据所生成的近似最大帧图像和原所选最大帧图像，计算重建损失和正则损失；
[0017]归一化操作，包括对生成的像素位移向量特征图进行归一化；
[0018]进行特征学习和微表情分类，包括将之前选取的最大帧图像与归一化后的像素位移向量特征图相连接后一起输入分类网络，得到分类预测结果。
[0019]而且，在训练过程中，最大帧的选取经过一个随机化过程实现，随机选取原最大帧前后一定范围内的某一帧，增加实际用于训练的图像对；若在验证或测试阶段，则直接采用原最大帧图像；
[0020]而且，生成的像素位移向量特征在被输入分类网络之前进行归一化操作，将各位移向量特征图分别除以其绝对值的前若干个值的平均值。
[0021]而且，对于生成的像素位移向量特征图，其损失函数包括原最大帧与根据起始帧和位移向量重建的最大帧之间的重建损失，以及对位移向量特征图本身计算的L1正则损失。
[0022]而且，所选的最大帧图像与生成的像素位移向量特征图一起输入分类网络进行学习，得到分类预测结果后，根据需要计算分类损失以相关评价指标。
[0023]与现有技术相比，本专利技术具有以下优点和积极效果：
[0024](1)本专利技术提出的像素位移生成模块可与分类网络相结合，进行端到端的统一训练，分类损失可以反向传播到像素位移生成模块中，使其根据分类效果自动调节参数，生成更易于分类的位移特征，同时整体模型也有更高的契合度。
[0025](2)本专利技术提出的随机选取最大帧操作可以增加实际用于训练的图像对，增强网络鲁棒性以及对细微变化的敏感度，提高位移特征的生成和分类效果。
[0026](3)本专利技术提出的归一化操作相当于缩小较大幅度的表情位移，同时放大较小幅度的表情位移，起到自适应表情幅度调节作用，减小不同图像对之间的幅度差异对分类网络的影响，也使分类网络更易于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的像素位移向量的微表情识别方法，其特征在于：建立基于像素位移生成模块的端到端的的微表情识别网络，基于微表情识别网络的处理流程包括以下步骤，选取最大帧，包括在训练过程中随机选取原最大帧前后某一帧作为最大帧图像；生成像素位移向量特征图，包括将所选最大帧图像与起始帧图像一同输入像素位移生成模块，经过各卷积层的学习和特征融合，输出两幅图像间的像素位移向量特征图；计算相关损失函数，包括先对生成的位移向量特征图进行双线性插值上采样得到与最大帧相同大小的位移特征图，再根据位移特征图对原起始帧图像进行采样生成近似最大帧图像，根据所生成的近似最大帧图像和原所选最大帧图像，计算重建损失和正则损失；归一化操作，包括对生成的像素位移向量特征图进行归一化；进行特征学习和微表情分类，包括将之前选取的最大帧图像与归一化后的像素位移向量特征图相连接后一起输入分类网络，得到分类预测结果。2.根据权利要求1所述基于卷积神经网络的像素位移向量的...

【专利技术属性】
技术研发人员：何双江，项金桥，董喆，方博，鄢浩，赵俭辉，赵慧娟，翟芷君，
申请(专利权)人：湖北省人民检察院，
类型：发明
国别省市：