本发明专利技术提供了基于关键点空间分布与局部全局特征推理的表情识别方法。现在主流的针对多模态研究或数据集问题的方法，忽略了面部特征的重要性。因此本发明专利技术提出了一种针对面部特征的方法，其包含：局部全局特征推理分支以多种注意力机制进行局部、全局特征推理，并通过残差结构融合。特征融合后再利用设计的增强损失以深度度量学习方法增大特征类内相似度和类间差异性。空间分布特征推理分支先构建空间拓扑关系图，再用GATv2网络直接对landmark数据提取空间分布特征。最后连接两个分支特征，并以全连接层输出预测概率。本发明专利技术在人机交互、场景理解、疲劳驾驶检测等方面有着较为广阔的应用前景，且实验证明，其具有良好的识别性能。
【技术实现步骤摘要】
本专利技术涉及深度学习领域中的面部表情识别问题，尤其是涉及一种基于关键点空间分布与局部全局特征推理的表情识别方法。
技术介绍
1、面部表情分析是通过分析面部的表情特征等来判断人群的情感状态。面部表情分析可以大量运用于多种计算机视觉任务，例如人机交互、场景理解、危险识别等。通过对图像中人脸的特征进行表情分析将有助于了解人们的情感及情绪的变化，有着广阔的应用前景。
2、目前针对于表情分析的分类任务，随着多模态数据的优势的体现，较多研究者转向与研究如何利用多模态数据来弥补面部单模态数据的不足以提升识别性能。而且，由于表情识别数据集固有的诸如注释模糊、类内差异性高而类间差异性低等问题，相当多的研究者也着力于研究如何解决数据集的问题以提升性能。这两个广大研究者的研究趋势，虽然性能都有提升，但他们都忽略了面部表情识别本身是一个针对面部特征的识别任务。虽然现在也有从面部特征展开的算法，但是诸如关注于如何充分提取并融合面部局部、全局特征的算法，其性能仍有改善的空间。此外，关注于面部空间分布特征的算法，也大多是用提取到的landmark数据构成其他诸如黑白点图、三角图等的rgb图片，这些形式的数据忽略了landmark数据中点与点之间的空间拓扑关系。而正如空间拓扑关系定义所说，空间拓扑关系描述了基本空间目标点、线、面之间的邻接关系、关联关系和包含关系，其本身就具有丰富的空间分布特征。因此，从面部特征的角度出发，本专利技术设计了一种基于空间分布特征及局部全局融合特征的双分支模型。
技术实现思路
1、本专利技术的目的是提供一种基于关键点空间分布与局部全局特征推理的表情识别方法，通过双分支网络提取面部的局部全局融合特征及面部空间分布特征。其中，空间注意力机制及通道注意力机制可以实现局部特征精细化感知，而transformer中的多头自注意力机制(multi-head self-attention mechanism,mhsa)可以充分对全局特征进行推理。此外，拓扑关系图可以很好地描述landmark原始坐标点之间的空间拓扑关系，而这种具有图结构的数据可以用图神经网络来充分推理空间分布特征。因此，本专利技术中的模型设计了局部全局特征推理分支及空间分布特征推理分支，并最后在连接两个分支的输出后通过全连接层输出表情分类概率。
2、为了方便说明，首先引入如下概念：
3、残差神经网络(residual neural network)与resnet18：残差网络的核心思想是为了简化学习恒等映射函数较为困难的问题，将学习恒等映射转化为学习残差项逼近0，优化了网络的学习难度，解决了在深度网络中梯度消失/爆炸等问题。resnet18是残差神经网络中的一个具体模型，其是由18个卷积层、4个残差块组成的经典残差网络，在面部表情识别任务中经常被用作骨干网络。
4、通道注意力及空间注意力：在通道和空间两个维度上采用最大池化(maxpool)和平均池化(avgpool)聚合特征信息，从而增强了特征的表达能力，可以实现局部特征的精细化感知。
5、transformer及多头自注意力机制(mhsa)：transformer是第一个完全依赖自注意力(self-attention)来计算输入和输出的表示，而不使用序列对齐的递归神经网络或卷积神经网络的转换模型，其中，transformer内完全依赖的自注意力部分构成了mhsa机制。mhsa基于自注意力和多头机制，可以实现高效的全局关系建模。
6、landmark及空间拓扑关系：landmark是定义在面部的一些坐标点的集合，因其可以反应面部的关键特征，被称为面部关键特征点；而空间拓扑关系是描述空间目标点、线、面之间的邻接、关联和包含关系，可以很好地反应点、线、面的空间分布特征；landmark点与点之间的信息交互，正具有空间拓扑关系的形式。
7、图神经网络(graph neural networks，gnn)及gatv2：gnn是对图的所有属性(节点、边、全局上下文)进行的可优化的一种变换，它保留了图的对称性(置换不变性)，是一种专门针对图结构数据的一种深度学习网络。gatv2是gnn网络中应用了注意力结构的一种最新网络，目前针对图结构数据的处理性能十分优秀。
8、深度度量学习方法(deep metric learning,dml)：深度度量学习(deep metriclearning)是度量学习的一种方法，它的目标是学习一个从原始特征到低维稠密的向量空间(称之为嵌入空间，embedding space)的映射，使得同类对象在嵌入空间上使用常用的距离函数(欧氏距离、cosine距离等)计算的距离比较近，而不同类的对象之间的距离则比较远。
9、本专利技术具体采用如下技术方案：
10、基于关键点空间分布与局部全局特征推理的表情识别方法，其特征在于：
11、a.在resnet18网络中引入多种注意力机制进行局部信息和全局信息的推理以及两者的融合；
12、b.利用深度度量学习方法(deep metric learning,dml)，结合设计的增强损失(augmentation loss,al)函数，对融合后的特征进行增强，以增大特征类内相似度和类间差异性；
13、c.利用面部关键点(landmark)坐标构造拓扑关系图，并引入图注意力网络gatv2提取空间分布特征；
14、d.拼接b与c中的局部-全局融合特征及空间分布特征，利用全连接层输出分类预测概率；该方法主要包括以下步骤：
15、(1)将面部图片输入局部全局信息推理分支，用以多种注意力机制改造得到的res18-lg网络提取特征；先通过前三层中的空间注意力、通道注意力机制对局部特征进行推理，送入第四层中先用transformer中的多头注意力机制(mhsa)进行全局信息推理并用3×3卷积代替transformer中的1×1卷积以增大感受野，最后通过残差结构进行局部全局特征融合；
16、(2)利用多任务卷积神经网络(multi-task convolutional neural network,mtcnn)提取数据集中人脸对应的landmark坐标，并依据人脸面部结构构建landmark之间的空间拓扑关系图；
17、(3)将landmark原始坐标直接输入空间分布特征推理分支；使用两层gatv2网络按照构建的空间拓扑关系图，对landmark坐标数据提取空间分布特征；
18、(4)在局部全局信息推理分支中，采用设计的特征增强损失al及基于dml方法的注意力网络作为局部全局融合特征增强模块，从而增大局部全局融合特征的类内相似度及类间差异性；
19、(5)连接局部全局融合特征和空间分布特征，通过全连接层输出分类预测概率。
20、本专利技术的有益效果是：
21、(1)充分利用通道注意力、空间注意力强大的局部特征提取能力以及mhsa强大的全局关系建模能力，并通本文档来自技高网
...
【技术保护点】
1.基于关键点空间分布与局部全局特征推理的表情识别方法，其特征在于：
2.如权利要求1所述的基于关键点空间分布与局部全局特征推理的表情识别方法，其特征在于在步骤(1)中以多种注意力机制构造的Res18-LG网络；在Resnet18网络前三层中添加空间注意力机制、通道注意力机制以进行局部信息推理，用Transformer中的MHSA机制代替Resnet18网络的第四层，并用3×3卷积代替Transformer中的1×1卷积增大感受野。
3.如权利要求1所述的基于关键点空间分布与局部全局特征推理的表情识别方法，其特征在于在步骤(2)(3)中，先根据人脸面部结构对Landmark坐标点构建专有的空间拓扑关系图；再用两层GATv2网络直接对Landmark原始坐标按照构建的拓扑关系图提取空间分布特征；其中，Landmark点只选取面部内的51个点，在构建图的时候，首先按照面部五官区域各自顺次用边连接(边表示两点间有可以有信息交互)，然后用边连接各分区域(表示区域间也可以有信息交互)。
4.如权利要求1所述的基于关键点空间分布与局部全局特征推理的表情识别方法，其特征在于在步骤(4)中特征增强模块内设计的特征增强损失；在基于DML方法的注意力网络DACL(Deep Attentive Center Loss)中，通过对其设计的稀疏中心损失函数以类中心方差做归一化处理，得到AL损失函数；DACL与AL函数见公式(1)(2)，其中⊙表示按元素相乘，aij表示沿维度j的第i个深度特征的权重，xij是属于第yi个分类的第i个样本深度特征向量的第j维特征，根据中心损失，cyij是其对应的类中心而是类中心的方差
...
【技术特征摘要】
1.基于关键点空间分布与局部全局特征推理的表情识别方法，其特征在于：
2.如权利要求1所述的基于关键点空间分布与局部全局特征推理的表情识别方法，其特征在于在步骤(1)中以多种注意力机制构造的res18-lg网络；在resnet18网络前三层中添加空间注意力机制、通道注意力机制以进行局部信息推理，用transformer中的mhsa机制代替resnet18网络的第四层，并用3×3卷积代替transformer中的1×1卷积增大感受野。
3.如权利要求1所述的基于关键点空间分布与局部全局特征推理的表情识别方法，其特征在于在步骤(2)(3)中，先根据人脸面部结构对landmark坐标点构建专有的空间拓扑关系图；再用两层gatv2网络直接对landmark原始坐标按照构建的拓扑关系图提取空间分布特征...
【专利技术属性】
技术研发人员：卿粼波，熊昆洪，陈洪刚，李林东，任超，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。