一种情感先验拓扑图指导的多任务人脸表情识别方法技术

本发明专利技术涉及计算机视觉领域，具体涉及一种情感先验拓扑图指导的多任务人脸表情识别方法。该方法构建人脸表情识别模型，使用含标签数据作为训练数据输入到特征提取器得到图像特征表示；构建拓扑关系图表示分类标签空间和效价唤醒标签空间两个标签空间的空间内部和空间之间的拓扑关系，对拓扑关系进行情感关系建模得到情感特征表示，将图像特征表示与情感特征表示进行融合后，对融合后的特征进行预测，得到输入图像的情感分类、效价值和唤醒值的预测。本发明专利技术利用情感多标签之间潜在的依赖关系，设计一种多层次融合算法在网络的浅层和深层进行特征融合，丰富了融合特征的信息，进而提高了人脸表情识别的准确度。而提高了人脸表情识别的准确度。而提高了人脸表情识别的准确度。

【技术实现步骤摘要】
一种情感先验拓扑图指导的多任务人脸表情识别方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种情感先验拓扑图指导的多任务人脸表情识别方法。

技术介绍

[0002]人脸表情识别是一种基于计算机视觉技术的人工智能应用，旨在从人脸图像或视频中自动检测和识别出人脸表情，例如开心、生气、惊讶等。人脸表情识别在情感分析、安全监控、游戏、虚拟现实以及交互式体验领域均已开始应用，以帮助企业更好地了解消费者的需求和情感状态，提高产品的质量和市场竞争力。此外，在安全监控领域，人脸表情识别可以帮助提高公共安全和防止犯罪。
[0003]现有的人脸表情识别通常使用深度学习算法实现：对人脸图像进行预处理，包括对齐人脸以减少由于尺度和平面类旋转引起的变化，数据增强以增大数据量并避免模型过拟合，以及归一化以消除光照和头部姿态的影响。之后借助深度学习网络，如卷积神经网络、深度置信网络、循环神经网络等，从预处理过的人脸图像中提取特征，将这些特征输入到一个分类器或回归器以识别人脸的表情。
[0004]然而，现有的研究忽略了情感信息内部的隐形关联，在进行人脸表情识别时没有充分利用数据集的标签，局限在单一的情感数据集标签空间内，忽略了多数据集的连续标签和离散标签之间固有的依赖关系，造成了信息缺失，进而导致模型预测的准确度不高。

技术实现思路

[0005]为解决上述问题，本专利技术提供一种情感先验拓扑图指导的多任务人脸表情识别方法。
[0006]该方法将待识别图像输入构建的人脸表情识别模型，得到待识别图像的情感分类、效价值和唤醒值的预测，人脸表情识别模型的训练，包括以下步骤：步骤一，准备具有情感分类标签、效价标签和唤醒标签的个人脸表情图像作为样本组成训练数据集；步骤二，将训练数据集输入特征提取器，获得图像特征表示，为1到的整数；步骤三，为训练数据集构建拓扑关系图表示训练数据集在分类标签空间和效价唤醒标签空间两个标签空间的空间内部和空间之间的拓扑关系，并用拓扑关系邻接矩阵表示拓扑关系图；步骤四，将拓扑关系邻接矩阵输入情感关系建模模块，获得情感特征表示；步骤五，将图像特征表示与情感特征表示输入融合模块得到聚合特征；步骤六，将聚合特征输入分类器得到样本的情感分类预测结果，将聚合特征输入回归器，得到样本的效价值的预测结果和唤醒值的预测结果；步骤七，定义人脸表情识别模型的总损失函数；
步骤八，基于总损失函数训练人脸表情识别模型。
[0007]进一步的，步骤二中所述特征提取器，为残差神经网络、改进残差神经网络、密集连接卷积网络、移动网络中的任意一个。
[0008]进一步的，步骤三具体包括：构建心理学理论矩阵A，心理学理论矩阵A的行表示分类标签空间的不同维度，心理学理论矩阵A的列表示效价唤醒标签空间的不同维度，心理学理论矩阵A的元素表示分类标签空间的某一维度与效价唤醒标签空间的某一维度的关联度；构建情感拓扑关系图，情感拓扑关系图的每个节点代表分类标签空间或效价唤醒标签空间的某一维度，每条边代表分类标签空间与效价唤醒标签空间两个标签空间之间的节点关系，用情感关系邻接矩阵表示情感拓扑关系图，情感关系邻接矩阵中第行第列的元素为：；其中，表示逻辑与计算，表示逻辑或计算，表示认知心理学理论矩阵A的第行第列的绝对值，Cat和Dim分别代表分类标签空间的维度索引和效价唤醒标签空间的维度索引；构建先验拓扑关系图，先验拓扑关系图的每个节点代表分类标签空间或效价唤醒标签空间的某一维度，每条边代表分类标签空间与效价唤醒标签空间两个标签空间的空间内部的节点关系，用先验关系邻接矩阵表示先验拓扑关系图，先验关系邻接矩阵中第行第列的元素为：；拓扑关系图由情感拓扑关系图和先验拓扑关系图两部分组成；拓扑关系图中每个节点代表分类标签空间或效价唤醒标签空间的某一维度，每条边代表分类标签空间和效价唤醒标签空间两个标签空间的空间内部和空间之间的节点关系；，其中表示节点的集合，是预先设定的分类任务的维度个数，是预先设定的回归任务的维度个数；表示节点之间的边的集合；用拓扑关系邻接矩阵表示拓扑关系图，拓扑关系邻接矩阵的维度为，拓扑关系邻接矩阵中每一个元素都表示其对应的边的权重值，拓扑关系邻接矩阵中第行第列的元素为：。
[0009]进一步的，步骤五具体包括：融合模块共分为层，第层融合模块的输出为：；
其中，表示的卷积神经网络，和表示的是重塑操作，表示训练数据集中所有标签的数量，表示样本的高，表示样本的宽，表示样本的通道数，表示矩阵乘法，表示线性激活函数，表示矩阵转置，是图像特征表示经过第层融合模块处理后的中间值，是情感特征表示经过第层融合模块处理后的中间值。
[0010]进一步的，步骤七具体包括：人脸表情识别模型的总损失函数为：；其中，为分类损失函数，为回归损失函数。
[0011]进一步的，所述分类损失函数为；其中，为表示样本是否属于类别的指示函数，如果样本的类别是，则=1，否则=0；是情感分类预测结果中对于第个类别的预测值。
[0012]进一步的，回归损失函数为：；其中，是评估效价指标的损失函数，是评估唤醒指标的损失函数。
[0013]进一步的，评估效价指标的损失函数为：；其中，是效价标签和效价值的预测结果之间的皮尔森相关系数，是效价标签的方差，是效价值的预测结果的方差，是效价值的预测结果的均值，是效价标签的均值。
[0014]进一步的，评估唤醒指标的损失函数为：；其中，是唤醒标签和唤醒值的预测结果之间的皮尔森相关系数，是唤醒标签的方差，是唤醒值的预测结果的方差，是唤醒值的预测结果的均值，是唤醒标签的均值。
[0015]本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：本专利技术利用情感多标签之间潜在的依赖关系，并设计一种多层次融合算法在网络的浅层和深层进行特征融合，丰富了融合特征的信息，进而提高了人脸表情识别的准确度。
附图说明
[0016]图1为本专利技术实施例提供的一种情感先验拓扑图指导的多任务人脸表情识别方法示意图；图2为本专利技术实施例提供的图注意力网络的个数与识别准确度的关系图。
具体实施方式
[0017]以下结合附图和具体实施例，对本专利技术进行详细说明，在详细说明本专利技术各实施例的技术方案前，对所涉及的名词和术语进行解释说明，在本说明书中，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。
[0018]本专利技术提出了一种情感先验拓扑图指导的多任务人脸表情识别方法，明确地对标签内和标签间的拓扑关系建模，同时预测情感类别和情感效价唤醒度，实现人脸表情的鲁棒联合学习，用一种轻量且普适的方法提高人脸表情识别的准确度。
[0019]本专利技术构建一个人脸表情识别模型，使用含标签数据作为训练数据集输入到特征提取器得到图像特征表示；构建拓扑关系图表示分类标签空间和效价唤醒标签空间两个标签空间的空间内部和空间之间的拓扑关系，对拓扑关系进行情感关系建模得到情感特征表示，将图像特征表示与情感特征表示进行融合后，对融合后的特征进行预测，得到输入图像的效价值和唤醒值的预测以及情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感先验拓扑图指导的多任务人脸表情识别方法，将待识别图像输入构建的人脸表情识别模型，得到待识别图像的情感分类、效价值和唤醒值的预测，人脸表情识别模型的训练，包括以下步骤：步骤一，准备具有情感分类标签、效价标签和唤醒标签的个人脸表情图像作为样本组成训练数据集；步骤二，将训练数据集输入特征提取器，获得图像特征表示，为1到的整数；步骤三，为训练数据集构建拓扑关系图表示训练数据集在分类标签空间和效价唤醒标签空间两个标签空间的空间内部和空间之间的拓扑关系，并用拓扑关系邻接矩阵表示拓扑关系图；步骤四，将拓扑关系邻接矩阵输入情感关系建模模块，获得情感特征表示；步骤五，将图像特征表示与情感特征表示输入融合模块得到聚合特征；步骤六，将聚合特征输入分类器得到样本的情感分类预测结果，将聚合特征输入回归器，得到样本的效价值的预测结果和唤醒值的预测结果；步骤七，定义人脸表情识别模型的总损失函数；步骤八，基于总损失函数训练人脸表情识别模型。2.根据权利要求1所述一种情感先验拓扑图指导的多任务人脸表情识别方法，其特征在于，步骤二中所述特征提取器，为残差神经网络、改进残差神经网络、密集连接卷积网络、移动网络中的任意一个。3.根据权利要求1所述一种情感先验拓扑图指导的多任务人脸表情识别方法，其特征在于，步骤三具体包括：构建心理学理论矩阵A，心理学理论矩阵A的行表示分类标签空间的不同维度，心理学理论矩阵A的列表示效价唤醒标签空间的不同维度，心理学理论矩阵A的元素表示分类标签空间的某一维度与效价唤醒标签空间的某一维度的关联度；构建情感拓扑关系图，情感拓扑关系图的每个节点代表分类标签空间或效价唤醒标签空间的某一维度，每条边代表分类标签空间与效价唤醒标签空间两个标签空间之间的节点关系，用情感关系邻接矩阵表示情感拓扑关系图，情感关系邻接矩阵中第行第列的元素为：；其中，表示逻辑与计算，表示逻辑或计算，表示认知心理学理论矩阵A的第行第列的绝对值，Cat和Dim分别代表分类标签空间的维度索引和效价唤醒标签空间的维度索引；构建先验拓扑关系图，先验拓扑关系图的每个节点代表分类标签空间或效价唤醒标签空间的某一维度，每条边代表分类标签空间与效价唤醒标签空间两个标签空间的空间内部的节点关系，用先验关系邻接矩阵表示先验拓扑关系图，先验关系邻接矩阵中第行第列的元素为：
...

【专利技术属性】
技术研发人员：王若彤，孙晓，汪萌，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：