一种微表情识别方法及系统技术方案

本发明专利技术公开一种微表情识别方法及系统，该方法包括：对微表情视频序列进行预处理，得到人脸图像集；搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet

【技术实现步骤摘要】
一种微表情识别方法及系统


[0001]本专利技术涉及图像处理和人工智能
，具体涉及一种微表情识别方法系统。

技术介绍

[0002]微表情是人在经历强烈情绪时产生的快速、无意识的自发式面部动作，它是人在试图掩盖内在情绪时产生，既无法伪造也无法抑制，可以作为判断人主观情绪的重要依据。
[0003]微表情通常具有持续时间短、运动强度低等特点，一般持续1/25s到1/3s，并且动作幅度非常小，不会同时在上半脸和下半脸出现。
[0004]微表情具有很大的研究价值，在临床诊断、情绪智力、司法侦讯等领域有着重要应用，越来越多的研究者进入到这个领域对微表情进行研究。
[0005]传统手工特征提取主要依赖于手工设计的特征提取规则，得到的特征往往无法解释具体每一维的物理含义，需要专业知识和复杂的参数调整过程，同时泛化性能和鲁棒性较差。基于深度学习的方法存在参数量偏大、特征提取不充分等问题。

技术实现思路

[0006]专利技术目的：为了克服现有技术的不足，本专利技术提供一种微表情识别方法，该方法可以解决现有技术所存在的微表情样本不足、特征提取不充分的问题，本专利技术还提供一种微表情识别系统。
[0007]技术方案：一方面，本专利技术提供微表情识别方法，包括：
[0008](1)对微表情视频序列进行预处理，得到人脸图像集，并将所述人脸图像集划分为训练集和测试集；
[0009](2)搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet<br/>‑
121作为骨干网络，并在DenseNet
‑
121的每一个Dense Block之后加入两个分支，一个分支是en
‑
scSE模块，第二个分支为Triplet Attention模块，对两个分支输出的特征图进行相乘融合；在每一个Transition Layer后加入Triplet Attention，在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块；所述en
‑
scSE模块是通道级的注意力模块与通道压缩
‑
空间激励模块的并联模块，所述Triplet Attention模块为不同维度的交互处理模块；
[0010](3)采用训练集对所述网络模型DA_DenseNet进行训练，执行分类任务并生成分类模型；
[0011](4)采用测试集将训练好的网络模型DA_DenseNet进行测试。
[0012]进一步的，包括：
[0013]所述步骤(1)中，对微表情视频序列进行预处理，包括：
[0014](11)定位每个微表情视频序列的起始帧和顶点帧，并从定位到的起始帧和顶点帧中分割出人脸区域；并增加微表情顶点帧前后各两帧作为训练或者测试样本；
[0015](12)采用随机裁剪，直接将微表情视频序列裁剪出固定大小的微表情样本，对微
表情样本进行随机旋转，并对微表情样本进行色彩抖动操作以进行数据增强。
[0016]进一步的，包括：
[0017]所述步骤(2)中，en
‑
scSE模块的结构包括：
[0018]scSE是cSE模块和sSE模块的并联；cSE模块相当于通道级的注意力，其具体操作是将人脸图像U利用全局平均池化从[C，H，W]变为[C，1，1]，再用两次1
×1×
1卷积运算，最终获得一个C维的向量，再利用sigmoid函数对其进行归一化，最后通过channel
‑
wise相乘得到输出特征。
[0019]进一步的，包括：
[0020]在所述channel
‑
wise之前增加了两个线性层并使用ReLu激活函数。
[0021]进一步的，包括：
[0022]所述sSE是通道压缩和空间激励模块，它沿着通道压缩人脸图像U并在空间上激发，人脸图像利用1
×1×
1的卷积，从[C，H，W]变为[1，H，W]，使用sigmoid函数激活，然后与原来的人脸图像进行相乘。
[0023]进一步的，包括：
[0024]所述sSE还包括一支全局平均池化操作，与原来人脸图像特征相乘，空间内不重要的信息将会被抑制，更好地提取重要特征。
[0025]进一步的，包括：
[0026]所述步骤(2)中，Triplet Attention的结构为：
[0027]Triplet Attention由3个平行分支组成，第一个分支在H维度和C维度之间建立了交互，第二个分支在C维度和W维度建立了交互，第三个分支在H维度和W维度之间建立了交互，Z
‑
pool层负责将C维度的Tensor缩减到2维，并将该维上的平均池化特征和最大池化特征连接起来，其公式为：
[0028]Z
‑
pool(x)＝[Maxpool
0d
(x)，Avgpool
0d
(x)][0029]其中，Maxpool代表最大池化，Avgpool表示平均池化，0d是发生最大和平均池化操作的第0维；
[0030]最终3个分支的输出使用平均进行聚合，公式为：
[0031][0032]其中，σ代表sigmoid激活函数，表示三个分支中由卷积核大小k定义的标准二维卷积层，分别表示第一、第三个分支旋转后的张量，分别表示第一、二分支通过卷积层之后的张量。
[0033]进一步的，包括：
[0034]所述步骤(2)中，特征细化模块的结构为：
[0035]每个特征细化分支由一个全局平均池化和两个全连接层组成，其中，全连接层起到分类的作用，全连接层后是激活层sigmoid；如果训练样本x的微表情样本是第k个类别，则第k个分支中的真值为1，其他分支的真值为0，允许网络为每类表情生成特定于表情的特征。
[0036]另一方面，本专利技术还提供一种微表情识别系统，包括：
[0037]预处理模块，用于对微表情视频序列进行预处理，得到人脸图像集，并将所述人脸
图像集划分为训练集和测试集；
[0038]模型构建模块，用于搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet
‑
121作为骨干网络，并在DenseNet
‑
121的每一个Dense Block之后加入两个分支，一个分支是en
‑
scSE模块，第二个分支为Triplet Attention模块，对两个分支输出的特征图进行相乘融合；在每一个Transition Layer后加入Triplet Attention，在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块；所述en
‑
scSE模块是通道级的注意力模块与通道压缩
‑
空间激励模块的并联模块，所述Triplet Attention模块为不同维度的交互处理模块；...

【技术保护点】

【技术特征摘要】
1.一种微表情识别方法，其特征在于，包括：(1)对微表情视频序列进行预处理，得到人脸图像集，并将所述人脸图像集划分为训练集和测试集；(2)搭建网络模型DA_DenseNet，所述网络模型DA_DenseNet采用DenseNet
‑
121作为骨干网络，并在DenseNet
‑
121的每一个Dense Block之后加入两个分支，一个分支是en
‑
scSE模块，第二个分支为Triplet Attention模块，对两个分支输出的特征图进行相乘融合；在每一个Transition Layer后加入Triplet Attention，在提取的特征最终进行分类之前，根据所分类的类数，加入特征细化模块；所述en
‑
scSE模块是通道级的注意力模块与通道压缩
‑
空间激励模块的并联模块，所述Triplet Attention模块为不同维度的交互处理模块；(3)采用训练集对所述网络模型DA_DenseNet进行训练，执行分类任务并生成分类模型；(4)采用测试集将训练好的网络模型DA_DenseNet进行测试。2.根据权利要求1所述的微表情识别方法，其特征在于，所述步骤(1)中，对微表情视频序列进行预处理，包括：(11)定位每个微表情视频序列的起始帧和顶点帧，并从定位到的起始帧和顶点帧中分割出人脸区域；并增加微表情顶点帧前后各两帧作为训练或者测试样本；(12)采用随机裁剪，直接将微表情视频序列裁剪出固定大小的微表情样本，对微表情样本进行随机旋转，并对微表情样本进行色彩抖动操作以进行数据增强。3.根据权利要求1所述的微表情识别方法，其特征在于，所述步骤(2)中，en
‑
scSE模块的结构包括：scSE是cSE模块和sSE模块的并联；cSE模块相当于通道级的注意力，其具体操作是将人脸图像U利用全局平均池化从[C，H，W]变为[C，1，1]，再用两次1
×1×
1卷积运算，最终获得一个C维的向量，再利用sigmoid函数对其进行归一化，最后通过channel
‑
wise相乘得到输出特征。4.根据权利要求3所述的微表情识别方法，其特征在于，在所述channel
‑
wise之前增加了两个线性层并使用ReLu激活函数。5.根据权利要求3所述的微表情识别方法，其特征在于，所述sSE是通道压缩和空间激励模块，它沿着通道压缩人脸图像U并在空间上激发，人脸图像利用1
×1×
1的卷积，从[C，H，W]变为[1，H，W]，使用sigmoid函数σ(
·
)激活，然后与原来的人脸图像进行相乘。6.根据权利要求5所述的微表情识别方法，其特征在于，所述sSE模块还包括一支全局平均池化操作，与原来的人脸图像相乘，空间内不重要的信息将会...

【专利技术属性】
技术研发人员：张青云，束鑫，王艳，诸峰，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：