一种基于多维特征融合的微表情识别方法技术

本发明专利技术公开了一种基于多维特征融合的微表情识别方法，包括图像预处理，提取光流特征分量，构建多维特征融合网络，使用训练得到的模型进行微表情分类四个步骤。本发明专利技术中为了补偿模型丢失的面部细节信息，构建了一个特征融合模块，将特征融合模块提取的浅层特征与双流卷积网络提取的抽象特征融合，共同用于模型分类。对于提取的高维融合特征，经过通道注意力模块赋予通道不同的权值，使模型更加关注贡献度高的通道，进一步提高微表情识别的精度。进一步提高微表情识别的精度。进一步提高微表情识别的精度。

【技术实现步骤摘要】
一种基于多维特征融合的微表情识别方法


[0001]本专利技术涉及表情识别
，具体是一种基于多维特征融合的微表情识别方法。

技术介绍

[0002]微表情是一种持续时间非常短、表达强度非常低的特殊表情，通常在人们企图掩饰自己内心的真实想法时不由自主的出现。因为微表情在面部停留的时间通常只有1/25秒至1/3秒，大多数人都难以意识到它的出现。这种特殊的表情被认为与人的自我防御机制有关，反映了人们内心的真实想法。对微表情进行准确识别有助于人们做出适当的判断和决定，因此微表情识别是极其重要的。微表情识别从本质上讲是图像分类问题，近年来，随着深度学习的发展，人们开始借助计算机进行微表情分析识别，其优势在于只要训练出精确且稳定的模型，就能够以低廉的成本自动并高效地处理大规模微表情识别任务，节省人力物力。
[0003]文献1[Gan Y.S.,Liong S.T.,Yau W.C.,et al.Off
‑
apexnet on micro
‑
expressionrecognition system[J].Signal Processing:Image Communication,2019,74:129
‑
139.] 设计了一种双支路卷积神经网络模型，提取起始帧与顶点帧的光流特征的两个分量作为模型两个支路的输入。在此基础上，文献2[Jin Qiushi,Xu Huangchao, Liu Kunhong,et al.Ga
‑
apexnet:Genetic algorithm in apex frame network formicro
‑
expression recognition system[C]//Proceedings of the Journal of Physics: Conference Series.Suzhou:IOP Press,2020,1544(1):012149.]引入了遗传算法 (Genetic Algorithm，GA)对模型学习的特征进行降维，只保留有利于分类的特征，最后经过测试模型的精度有了进一步的提升。文献3[Nie Xuan,Takalkar M.A., Duan Mengyang,et al.GEME:Dual
‑
stream multi
‑
task gender
‑
basedmicro
‑
expression recognition[J].Neurocomputing,2021,427:13
‑
28.],文献4[[ZhouLing,Mao Qirong,Xue Luoyang.Dual
‑
inception network for cross
‑
databasemicro
‑
expression recognition[C]//Proceedings of the 2019 14th IEEE InternationalConference on Automatic Face&Gesture Recognition.Lille:IEEE Press,2019:1
‑
5.] 同样采用了双流网络模型提取不同的特征。不同的是，文献[3]引入了多任务学习方法，通过一条网络支路检测性别来辅助模型分类。而文献[4]的整体思路和文献[1]相同，都是提取起始帧与顶点帧的光流特征分量作为输入，但是文献[4] 在构建模型时使用了inception block模块，即在同一层次上并行使用多种尺寸的卷积核。
[0004]以上现有模型对面部细节信息关注不足，同时微表情识别效果有待提高。

技术实现思路

[0005]针对现有模型对面部细节信息关注不足的问题，本专利技术公开了一种基于多维特征融合的微表情识别方法，设计了一种基于多维特征融合的双流卷积神经网络。为了补偿模
型丢失的面部细节信息，构建了一个特征融合模块，将特征融合模块提取的浅层特征与双流卷积网络提取的抽象特征融合，共同用于模型分类。对于提取的高维融合特征，经过通道注意力模块赋予通道不同的权值，使模型更加关注贡献度高的通道，进一步提高微表情识别的精度。
[0006]鉴于此，本专利技术采用的技术方案是：一种基于多维特征融合的微表情识别方法，其特征在于，包括以下步骤：
[0007]步骤一、图像预处理，包括图像灰度化、面部关键点检测、面部对齐裁剪以及尺度归一化。
[0008]步骤二、使用迭代Lucas
‑
Kanade算法提取起始帧和顶点帧之间光流水平分量u和光流垂直分量v。
[0009]步骤三、构建多维特征融合网络，具体为：将光流水平分量u和光流垂直分量v作为双流卷积神经网络的输入，骨干网络采取对称结构，第一层、第三层和第四层使用卷积层，用于提取光流特征的纹理信息和边缘特征，第二层和第五层使用的是最大池化层，对输入的特征维度进行下采样；骨干网络中第一层卷积层的输出通过特征融合模块进行特征融合，然后与两条支路的第五层的最大池化层输出特征再次融合，以得到包含面部细节信息和抽象特征的输出；在多维特征融合之后，引入通道注意力模块，对不同的通道赋予不同的重要性，突出对模型分类判别有用的特征；接着引入两层全连接层，从全连接层输出的特征被传递到输出层，通过softmax函数进行分类。
[0010]步骤四、使用训练得到的模型进行微表情分类。
[0011]本专利技术具有以下有益技术效果：
[0012]本专利技术将光流水平分量和光流垂直分量作为模型的输入，构建了多维特征融合模块，将其提取的面部细节的浅层特征与双流卷积网络提取的抽象特征融合，引入通道注意力模块，且识别效果较好。具体地：
[0013](1)使用快速且稳健的迭代Lucas
‑
Kanade(iLK)算法得到光流特征分量，光流特征能够更好的突出面部细微的运动。
[0014](2)双流卷积神经网络的模型，光流水平分量和光流垂直分量分别学习并进行融合，所搭建的网络模型识别精度高。
[0015](3)特征融合模块提取的浅层特征与双流卷积网络提取的抽象特征融合，共同用于模型分类，使特征更加丰富。
[0016](4)在适当的位置引入通道注意力机制，对不同的通道赋予不同的重要性，突出对模型分类判别有用的特征。
附图说明
[0017]图1为多维特征融合模型；
[0018]图2为特征融合模块FFM；
具体实施方式
[0019]为了使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术的具体实施方式作进一步的详细描述。
[0020]一种基于多维特征融合的微表情识别方法，分为图像预处理、提取光流特征分量，构建多维特征融合网络、使用训练得到的模型进行微表情分类四个步骤。
[0021]步骤一、图像预处理
[0022]与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多维特征融合的微表情识别方法，其特征在于，包括以下步骤：步骤一、图像预处理，包括图像灰度化、面部关键点检测、面部对齐裁剪以及尺度归一化；步骤二、使用迭代Lucas
‑
Kanade算法提取起始帧和顶点帧之间光流水平分量u和光流垂直分量v；步骤三、构建多维特征融合网络；步骤四、使用训练得到的模型进行微表情分类。2.根据权利要求1所述一种基于多维特征融合的微表情识别方法，其特征在于：步骤一所述面部关键点检测采用基于级联形状回归的方法检测微表情数据集中的面部关键点。3.根据权利要求2所述一种基于多维特征融合的微表情识别方法，其特征在于：步骤一所述面部对齐裁剪包括：利用公式(1)和公式(2)计算两眼之间的距离d以及左右眼中心坐标连线与水平方向的夹角θ；夹角θ；式中，x1,y1为左眼内眼角坐标，x2,y2为右眼内眼角坐标，d为两眼之间的距离，θ为左右眼连线与水平方向夹角；然后通过公式(3)两个眼睛的坐标计算出两眼之间的眼距中点(x0,y0)，并将眼距中心作为旋转中心，在旋转后则人脸关键点的位置，计算公式见公式(4)：其中，x,y为调整前目标像素空间位置索引，x
′
,y
′
为调整后目标像素空间位置索引；在人脸对齐之后，进行人脸裁剪操作。4.根据权利要求1所述一种基于多维特征融合的微表情识别方法，其特征在于：步骤二所述起始帧是微表情出现的瞬间，顶点帧是微表情幅度最大的瞬间。5.根据权利要求1所述一种基于多维特征融合的微表情识别方法，其特征在于：步骤三所述多维特征融合网络具体为：将光流水平分量u和光流垂直分量v作为双流卷积神经网络的输入，骨干网络采取对称结构，第一层、第三层和第四层使用卷积层...

【专利技术属性】
技术研发人员：张家波，徐光辉，甘海洋，黄钟玉，高洁，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：