基于联合和交替学习框架的跨域新类人脸表情识别方法技术

本发明专利技术公开了基于联合和交替学习框架的跨域新类人脸表情识别方法，包括：A、建立基本类表情数据集和复合类表情数据集；B、构建用于表情数据识别的情感

【技术实现步骤摘要】
基于联合和交替学习框架的跨域新类人脸表情识别方法


[0001]本专利技术涉及计算机视觉
，尤其涉及基于联合和交替学习框架的跨域新类人脸表情识别方法。

技术介绍

[0002]人脸表情，是人类传递情感信号的最直观、有效的方式之一。近年来，人脸表情识别已经成为计算机视觉及人工智能领域一个重要的研究方向，并广泛应用于安全驾驶、医疗监护、在线教育等多个实际场景中。
[0003]根据著名心理学家Ekman等人的研究，人脸表情可以划分为七个基本表情类别，即愤怒、惊讶、厌恶、恐惧、高兴、悲伤和中立。基于此，研究者们收集了一系列的基本类表情数据集(如CK+,OULU,MMI,RAF,SFEW等)，并对自动化的人脸表情识别展开了研究。早年的表情识别方法主要基于纹理、几何等手工特征，它们能在可控的室内表情数据集上表现良好，但在非受控的真实数据集上性能不理想。随着深度学习的发展，基于神经网络的特征提取方法成为主流，表情识别算法的关注点也逐渐从简单的室内数据集，转移到更具挑战性的室外数据集上。
[0004]然而，这些基本表情类别很难刻画真实表情世界的多样性。2014年Du等人(Du,S.；Tao,Y.；and Martinez,A.M.2014.Compound facial expressions of emotion.Proceedings of the National Academy of Sciences,111(15):E1454
–
E1462.)通过组合基本表情类别提出复合表情，并将表情类别扩展到22类。另一些学者，基于情感轮盘理论和层级模型收集了细粒度的表情数据集，进一步对表情数据集的类别进行扩展。虽然基本类表情识别问题已经得到了大量关注，但对上述非基本的表情类别的研究相对较少。Khadija Slimani等人(Khadija Slimani,Khadija Lekdioui,Rochdi Messoussi,and Raja Touahni.2019.Compound facial expression recognition based on highway CNN.In Proceedings of the New Challenges in Data Sciences:Acts of the Second Conference of the Moroccan Classification Society.1
–
7.)提出高速卷积网络，用可学习的参数代替残差网络的短接线来完成复合表情识别任务。Jianzhu Guo等人(Jianzhu Guo,Shuai Zhou,Jinlin Wu,Jun Wan,Xiangyu Zhu,Zhen Lei,and Stan Z Li.2017.Multi
‑
modality network with visual and geometrical information for micro emotion recognition.In2017 12th IEEE International Conference on Automatic Face and Gesture Recognition.IEEE,814
–
819.)提出多模态的网络，同时利用视觉和几何特征来识别复合表情。然而，这些方法需要依赖大量的有标签的复合类表情数据集。相比于基本类表情数据，复合表情的标注成本更大，且通常需要心理学家的专业指导。因此，如何利用少量的有标签样本来进行新的复合表情的识别是一个重要且尚未解决的问题。
[0005]对于我们人类来说，基于对已见过的情感的认知，在面对未知情感时，只需要少量的观察就能判断一种新的未知的情感。这种基于少量新类有标签样本，快速泛化到新类的
学习范式在计算机领域被称为小样本学习。尽管小样本学习在图像识别，目标检测等领域有广泛的研究，但在表情识别领域鲜有探索。本专利技术旨在解决小样本学习范式下的新的复合表情分类问题，以缓解现有复合表情分类模型需要预先收集大量的有标注的复合表情数据的压力。值得注意的是，相比于把一个复合表情数据集划分为基类(用于训练)和新类(用于测试)，本专利技术适用一种更加具有挑战性但实用的场合，即跨域小样本的设置，我们在易获得的多个基本表情数据集上训练模型，在新的复合表情数据集上进行测试。
[0006]目前，小样本学习的方法主要分为两类:基于迁移学习的方法和基于元学习的方法。基于迁移学习的方法旨在利用传统的批训练(Batch Training)的方式，在基类数据集上学习完整的分类模型，并利用少量有标签的新类样本，微调分类器来完成新类识别任务。由于特征提取的过程与新任务完全无关，此类算法在新类上的泛化性能有限。基于元学习的方法，主要依靠情景训练的方式(Episodic Training)，在训练和测试时构造相似的任务，利用任务之间的相似性，来实现知识从基类到新类的迁移。其中，最常见的是基于度量的方法，在基类上学习易于泛化的度量，并迁移至新类。本专利技术正是基于此类基线方法。
[0007]然而，不同于miniImageNet,Ominglot等常用的评价小样本学习算法的数据集，基本表情的类别有限。因此，在情景训练的过程中，每次采样任务高度重复，模型极易陷入对见过的任务的过拟合问题，现有的小样本学习的算法在新类表情识别任务上性能不尽人意。

技术实现思路

[0008]有鉴于此，本专利技术的目的在于提出一种基于联合和交替学习框架的跨域新类人脸表情识别方法，其利用情感分支来辅助相似度分支的学习，完成灵活、高精度的新类表情识别任务。
[0009]为了实现上述的技术目的，本专利技术所采用的技术方案为：
[0010]一种基于联合和交替学习框架的跨域新类人脸表情识别方法，其包括：
[0011]A、建立基本类表情数据集和复合类表情数据集，并对其进行数据预处理；
[0012]B、构建用于表情数据识别的情感
‑
相似度网络，其包括情感分支和相似度分支，其中，情感分支用于捕获全部基本类表情数据的整体特征，相似度分支用于学习两个表情数据之间可迁移的度量信息，且基于所获得的度量完成新类人脸表情的识别；
[0013]C、对步骤B中的情感分支采用批训练的方式进行训练全部基本类表情数据的分类模型；
[0014]D、对步骤B中的相似度分支采用元学习中情景训练的方法进行学习表情数据可迁移的特征和度量；
[0015]E、构建二阶段的联合和交替学习学习框架进行训练情感
‑
相似度网络，以提高模型对新类表情的泛化能力；
[0016]F、在复合类表情数据集上采样N个类，使每类包含K个有标签样本作为支持集(即构造N
‑
way K
‑
shot任务)，每类Q个样本作为查询集，然后基于经训练的相似度分支对查询集进行新类表情分类准确率的计算。
[0017]作为一种可能的实施方式，进一步，步骤A中，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，包括：A、建立基本类表情数据集和复合类表情数据集，并对其进行数据预处理；B、构建用于表情数据识别的情感
‑
相似度网络，其包括情感分支和相似度分支，其中，情感分支用于捕获全部基本类表情数据的整体特征，相似度分支用于学习两个表情数据之间可迁移的度量信息，且基于所获得的度量完成新类人脸表情的识别；C、对步骤B中的情感分支采用批训练的方式进行训练全部基本类表情数据的分类模型；D、对步骤B中的相似度分支采用元学习中情景训练的方法进行学习表情数据可迁移的特征和度量；E、构建二阶段的联合和交替学习学习框架进行训练情感
‑
相似度网络，以提高模型对新类表情的泛化能力；F、在复合类表情数据集上采样N个类，使每类包含K个有标签样本作为支持集，每类Q个样本作为查询集，然后基于经训练的相似度分支对查询集进行新类表情分类准确率的计算。2.如权利要求1所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤A中，所述基本类表情数据集包括室内数据集和室外数据集，其中，室内数据集至少包括CK+数据集，MMI数据集和OULU数据集中的一种以上；室外数据集至少包括RAF数据集和SFEW数据集中的一种以上。3.如权利要求2所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤A中，所述复合类表情数据集包括CFEE数据集和EmotioNet数据集。4.如权利要求3所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤A中，所述基本类表情数据集和复合类表情数据集均先经过MTCNN进行人脸对齐，并裁剪变化到224*224后，作为模型的输入项。5.如权利要求1所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤B中，所述情感分支包括基于ResNet18的情感特征提取器和分类器两部分；所述相似度分支包括基于ResNet18的相似度特征提取器和度量模块两部分。6.如权利要求5所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤C中，对情感分支采用批训练的方式进行训练全部基本类表情数据的分类模型，其每次迭代从一个基本类表情数据集中采样出批数据{X,Y}，然后对于其中的一个样本x
i
，经过情感特征提取器E
e
和分类器f的前向传播，得到预测结果再计算预测结果与真实标签y的交叉熵损失以用于更新网络参数，该交叉熵损失的公式如下：其中，C为基本表情的类别数，指示函数为1当且仅当c＝y
i
时成立。7.如权利要求5所述的基于联合和交替学习框架的跨域新类人脸表情识别方法，其特征在于，步骤D中，对步骤B中的相似度分支采用元学习中情景训练的方法进行学习表情数据可迁移的特征和度量，其每次从一个基本类表情数据集中随机采样出...

【专利技术属性】
技术研发人员：严严，邹心怡，王菡子，王彪，张吉，
申请(专利权)人：厦门大学，
类型：发明
国别省市：