基于AU-EMO关联与图神经网络的零样本表情识别方法及系统技术方案

本发明专利技术公开了一种基于AU

【技术实现步骤摘要】
基于AU
‑
EMO关联与图神经网络的零样本表情识别方法及系统


[0001]本专利技术涉及人工智能
，特别涉及一种基于AU(Action Unit,面部运动单元)
‑
EMO(Emotion,表情)关联与图神经网络的零样本表情识别方法及系统。

技术介绍

[0002]面部表情是人类情感的重要载体，表达了情绪、状态等丰富的内在信息。现有的表情识别方法大多关注Ekman定义的7种基本表情：开心、悲伤、惊讶、恐惧、厌恶、生气和中性表情。但随着情感心理学的发展，越来越多的情绪类别被纳入衡量人类内在状态表达的范畴。2012年，Martinez等人提出了情绪连续模型的概念；2014年，Du等人在基本表情类别的基础上，以两两组合的方式提出了复合表情的概念，由此将表情类别扩展到21类，并使用计算模型证明了这些复合表情在视觉上是可区分的；2017年，心理学家Alan和Dacher通过自我报告(self
‑
report)的方式观察被试者在观看不同影片时的情绪体验，提出人的情感状态可以平滑的分布为27种不同的类别。在智能感知领域，通常通过捕获人的面部图片，并通过自动表情识别系统来推理对应的情绪状态。
[0003]除了通过增加定义离散表情标签来表示人类的情绪体验，另外一种扩展表情识别的情感维度的方式是使用Ekman和Friesen提出的面部表情编码系统(Facial Action Coding System,FACS)，通过系列面部运动单元(Action Unit，AUs)分别对不同面部区域的肌肉群运动进行描述。由于每种表情发生时，被激活的面部肌肉动作，也就是面部运动单元AU是不相同的，FACS通过组合不同的AU来对不同的表情进行描述，从而降低固定情感模式分类的局限。但FACS是一种专业化的描述方法，需要大量的相关训练才能准确辨别使用AU组合描述的情感类别，因此难以在实际应用中推广。
[0004]图卷积神经网络(Graph Convolutional Network，GCN)最初是为解决自然语言处理领域中的半监督学习问题而提出的。在这种半监督学习的设置中，目标是通过部分已知的节点标签和图拓扑结构，以及图中包含的辅助信息，推理余下节点的标签内容。GCN能够较好的从不规则邻域中聚合节点消息，因此常被应用于知识信息推理任务。
[0005]面部表情是观察评估中最直观且重要的行为指标，在人机交互、智能控制、安全、医疗、通信等领域有着十分重要的研究。早期的表情识别模型通常是一个二步法，即先进行面部特征提取，再利用模式识别进行匹配分类。随着深度学习的不断发展，在端到端的模型下，特征提取与表情分类可以同时进行。Fasel等人首先发现浅层的卷积神经网络(Convolutional Neutral Network,CNN)特征能够反映出脸部姿势和比例。针对表情数据集中标签的不确定现象，Wang等人通过小批量的自注意机制和仔细的重标签机制设计了一种能够给予确定标签更大权重的表情识别模型，从而在RAF
‑
DB数据集上将基本表情识别准确率提高到了88.14％，达到了无辅助信息下基本表情识别任务的最优解。在利用AU信息作为辅助任务的自动表情识别的模型设计中，Yang等人使用三种方法来完成AU到表情的映射，并在CK+和Oulu CASIA两个数据集上证明了将AU信息引入表情识别任务的有效性。Liu等人提出的DAUGN模型首先将图片分解成多个AU相关的区域，然后提取对应的局部特征并
计算特征间的距离建立AU面部图，最后使用GCN来结合面部外观特征和图几何结构，从而完成表情识别任务。DAUGN分别在CK+、MMI和SFEW数据集上达到了97.67％、80.11％和55.36％的准确率。Wang等人则针对感兴趣区域(Region of Interest，RoI)设计了一种注意机制，并添加预定义的专家知识来加强表情特征的表示，在AffectNet和SFEW数据集上分别获得了60.95％和55.97％的准确率。Zhi等人则通过对AU与情绪间的关系概率进行建模，并通过测量AU序列间的相似性构建了将AU映射到情绪的推理方案，在BP4D数据集上达到了86.3％的表情识别准确率。
[0006]而在零样本识别技术中，Changpinyo等人将二部图的思想引入零样本识别，通过建立幻影类(phantom class)来对齐语义空间和图像特征空间，在ImageNet数据集上达到了1.5％的Top
‑
1准确率(Hit@1)；Wang等人通过使用类别名称语义向量和图神经网络，同时引入WordNet作为ImageNet数据集中类别的显式关联知识图谱，将ImageNet数据集上的零样本识别任务的Top
‑
1准确率提高到了1.8％，Kampffmeyer等人针对图卷积操作中涉及到的拉普拉斯平滑会稀释节点信息，进而干扰节点回归的问题，通过对其中的图结构进行改进，仍然使用WordNet作为类别关联知识图谱，但以更少的GCN网络层数在ImageNet数据集上达到了3.0％的Top
‑
1准确率
[0007]由以上分析可知，目前自动表情识别模型与零样本识别技术的结合中存在以下三方面的不足：
[0008](1)目前的自动表情识别模型大多针对7种传统的基本表情类别，然而情感心理学已经证明，在实际情况中，人的情感类别并不能简单的使用这些类别进行区分，因此现有的表情识别方法大大限制了对人类情感测量的维度。
[0009](2)目前大多数的表情识别模型都是基于监督学习范式提出的，因此只能推理判断和训练阶段完全一样的表情类别，这意味着对于新的表情类别，不仅对样本数量的需求增多，还需要重新训练识别模型，耗费大量的时间和精力。同时，受到人脸图像采集和类别标注的限制，很难为这些新扩充的情感状态收集大量对应的人脸标注数据，这也为重新训练表情自动识别模型带来了困难。因此，现有的表情识别系统很难对新扩充的表情类别进行分析。
[0010](3)已有的零样本识别技术通常采用通用词网络WordNet作为类别间的显式知识图谱，然而WordNet是根据词汇之间的上下义语义关系提出的，并不适用于表情分析任务。如果简单的将WordNet引入表情识别模型中，会难以把握表情类别在消息传递过程中的准确信息。
[0011]因此，如何设计一种自动表情识别模型，在不需要增加海量标注训练数据的前提下，完成对扩展表情类别的分析任务，在实际任务应用中具有重要意义。

技术实现思路

[0012]本专利技术提供了一种基于AU
‑
EMO关联与图神经网络的零样本表情识别方法及系统，以解决现有表情识别方法无法完成对扩展表情类别分析的技术问题。
[0013]为解决上述技术问题，本专利技术提供了如下技术方案：
[0014]一方面，本专利技术提供了一种基于AU
‑
EMO关联与图神经网络的零样本表情识别方法，该基于AU
‑
EMO关联与图神经网络的零样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AU
‑
EMO关联与图神经网络的零样本表情识别方法，其特征在于，所述基于AU
‑
EMO关联与图神经网络的零样本表情识别方法包括：采用卷积神经网络对输入的表情图像进行深度视觉特征自学习，得到可见类别的分类器权重和用于提取表情图像视觉特征的视觉特征提取器；基于各种不同面部运动单元AU的定义，根据AU动作因为受到面部肌肉的牵引而在视觉空间产生的关联关系，生成具有内在AU关联的AU语义特征；基于AU语义特征以及AU与表情EMO之间的关联关系，建立表情类别的语义特征向量；同时建模各表情类别间的转移关系并衡量所述转移关系的权重；将表情类别的语义特征向量和所述转移关系的权重结合，构建AU
‑
EMO关联图谱；其中，在所述AU
‑
EMO关联图谱中，节点嵌入为表情类别的语义特征向量，每一对节点间的边权重则为对应的所述转移关系的权重；通过图卷积神经网络在所述AU
‑
EMO关联图谱上进行消息传播，并结合所述可见类别的分类器权重，得到所述图卷积神经网络对所有类别的权重预测；针对待预测表情类别的表情图像，通过所述视觉特征提取器提取视觉特征，并将提取的视觉特征以内积形式与所述权重预测融合，预测图像所属表情类别。2.如权利要求1所述的基于AU
‑
EMO关联与图神经网络的零样本表情识别方法，其特征在于，所述采用卷积神经网络对输入的表情图像进行深度视觉特征自学习，得到可见类别的分类器权重和用于提取表情图像视觉特征的视觉特征提取器，包括：采用卷积神经网络对输入的表情图像进行深度视觉特征自学习，并将所述卷积神经网络的最后一层全连接层的权重视作可见类别的分类器权重，其余隐藏层的权重视作卷积特征提取权重，从而得到视觉特征提取器。3.如权利要求2所述的基于AU
‑
EMO关联与图神经网络的零样本表情识别方法，其特征在于，在将表情图像输入卷积神经网络之前，所述方法还包括：将待输入的图像预处理成224
×
224的大小，并使用大型数据集ImageNet的图像参数归一化；对于训练时期的图像，将其变形，以缓解模型过拟合问题。4.如权利要求1所述的基于AU
‑
EMO关联与图神经网络的零样本表情识别方法，其特征在于，所述基于各种不同面部运动单元AU的定义，根据AU动作因为受到面部肌肉的牵引而在视觉空间产生的关联关系，生成具有内在AU关联的AU语义特征，包括：根据各种不同AU的定义，首先将其转化成动词形式表达的词组向量；采用预训练好的词向量模型，根据所述词组向量得到AU的初始语义特征；根据AU发生时在面部上展现出的肌肉动作关联关系，根据各种AU能否同时发生的概率建立AU关联图；其中，在所述AU关联图中，节点是各个AU的初始语义特征，边的权重是数学建模出的AU关联关系；在所述AU关联图的基础上，使用编码器
‑
解码器格式重构所述AU关联图，并将编解码器产生的中间向量作为最终的AU语义特征向量。5.如权利要求4所述的基于AU
‑
EMO关联与图神经网络的零样本表情识别方法，其特征在于，所述采用预训练好的词向量模型，根据所述词组向量得到AU的初始语义特征，包括：当AU描述短语中包含人造词时，将AU描述短语中所有包含的人造词用动词形式改写，以使描述短语符合所述词向量模型的语料库范畴；对于以词组形式出现的AU描述，以平均
词向量的方式来聚合获得其对应的初始语义特征。6.如权利要求4所述的基于AU
‑
EMO关联与图神经网络的零样本表情识别方法，其特征在于，在所述AU关联图的基础上，使用编码器
‑
解码器格式重构AU关联图并将编解码器产生的中间向量作为最终的AU语义特征向量，包括：使用图卷积网络作为编码器结构：其中，B表示AU关联图的邻接矩阵，D是B相应的度矩阵，W
θ
是可学习的投影权重矩阵参数，Z是AU的初始语义特征；将经过所述编码器得到的中间向量的输出作为最终的AU语义特征向量；使用内积形式的解码器：其中，是使用中间向量重构出来的AU关联图的邻接矩阵。7.如权利要求1所述的基于AU
‑
EMO关联与图神经网络的零样本表情识别方法，其特征在于，所述建立表情类别的语义特征向量，包括：从AU
‑
EMO关联关系的角度出发，利用AU的语义特征来为每一种表情类别生成语义特征向量，每个表情类别y的语义特征向量T
y
用下式计算：其中，表示一般平均池化，P(AU

【专利技术属性】
技术研发人员：支瑞聪，万菲，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：