一种基于增量技术和注意力机制的公平人脸表情识别方法技术

本发明专利技术提供了一种基于增量技术和注意力机制的公平人脸表情识别方法，包括：构建并训练表情平衡模型，所述表情平衡模型包括：骨干模块、注意力特征融合模块和表情平衡微调模块；将人脸表情图像输入所述骨干模块，提取所述人脸表情图像的表情特征；将所述表情特征输入所述注意力特征融合模块，获取不同表情类别；将所述不同表情类别输入所述表情平衡微调模块，对所述不同表情类别进行调节，输出公平人脸表情识别结果。本发明专利技术采用增量技术和注意力机制结合的方式处理表情图像，能够提取代表性不足的表情类别中更细微的特征，从而缓解人脸表情识别中的表情类别偏差，达到公平人脸表情识别的目的。情识别的目的。情识别的目的。

【技术实现步骤摘要】
一种基于增量技术和注意力机制的公平人脸表情识别方法


[0001]本专利技术属于深度学习和计算机视觉
，尤其涉及一种基于增量技术和注意力机制的公平人脸表情识别方法。

技术介绍

[0002]随着人工智能逐渐地融入人们的日常生活中，研究人员对智能情感分析的研究取得了不错的进展。而人脸表情是表达人类意图和情绪的重要信号。因此，人脸表情识别技术得到了深入研究，并已广泛应用于社会分析、医疗保健、安全驾驶等领域。现有的表情识别方法是基于深度神经网络进行分类，同时，深度神经网络在数据和算法上存在偏差。虽然针对人口统计属性偏差的公平表情识别已获得不错的进展，但对于表情类别偏差的研究较少。事实上，在很多应用场景中，表情类别偏差对系统的应用效果有不利影响。例如，在对自闭症儿童的案例研究中，惊讶的识别率远高于恐惧的识别率。同样，在自动驾驶汽车的驾驶员监控案例中，经过训练的神经网络在检测快乐、中立和惊喜方面表现出色，但在识别恐惧和悲伤方面却很弱。所以，需要开展针对表情类别偏差的研究，以满足人们更高的公平要求。
[0003]有研究证明平衡采样和公平加权技术可以缓解类别偏差。采样方法指的是在预处理阶段干预数据分布后再进行神经网络训练，而加权方法是在神经网络结构中添加代价敏感层，改变神经网络的偏向性。但是，平衡采样方法容易导致模型过拟合，而公平加权方法可能会为某类别分配不合理的预测值。而注意力机制和增量技术开始成为了近几年的研究热点。注意力机制表明不同图像区域对于预测结果的重要性是不同的。对人脸表情而言，人脸的特殊区域，如眼睛、嘴角、眉毛，对于识别结果更加重要。该机制可以加强地关注代表性低的表情，以减轻深度神经网络的偏差。而增量技术可以敏锐地感知数据分布的变化，确保某个类别不会主导整个神经网络。就表情识别而言，增量技术可以让代表性强的表情类别不再主导神经网络。然而，注意力机制和增量技术对表情类别偏差的缓解方法尚未成熟，对公平人脸表情识别的实现还需进一步完善。

技术实现思路

[0004]为解决上述技术问题，本专利技术提出了一种基于增量技术和注意力机制的公平人脸表情识别方法，有效地提升代表性低的表情类别的识别性能，减缓人脸表情识别中的类别偏差。
[0005]为实现上述目的，本专利技术提供了一种基于增量技术和注意力机制的公平人脸表情识别方法，包括：构建并训练表情平衡模型，所述表情平衡模型包括：骨干模块、注意力特征融合模块和表情平衡微调模块；将人脸表情图像输入所述骨干模块，提取所述人脸表情图像的表情特征；将所述表情特征输入所述注意力特征融合模块，获取不同表情类别；
将所述不同表情类别输入所述表情平衡微调模块，对不同所述表情类别进行调节，输出公平人脸表情识别结果。
[0006]可选地，训练所述表情平衡模型包括：获取所述人脸表情图像的数据集；构建交叉注意蒸馏损失函数；基于所述数据集和所述交叉注意蒸馏损失函数对所述表情平衡模型进行训练。
[0007]可选地，所述表情平衡模型还包括：增量记忆内存模块；所述增量记忆内存模块与所述骨干模块连接；在所述表情平衡模型的训练过程中，基于所述增量记忆内存模块保留上一训练阶段的预设数量的旧类别数据，减少所述表情平衡模型对代表性不足的表情类别的偏见。
[0008]可选地，所述骨干模块包括：一个卷积层、一个池化层和若干相连的残差连接单元；所述卷积层、池化层和若干所述残差连接单元依次连接；所述残差连接单元包括：主分支子单元和副分支子单元；所述主分支子单元，用于提取输入图像的不同特征；所述副分支子单元，用于连接所述残差连接单元的输入和输出。
[0009]可选地，所述注意力特征融合模块包括：空间子模块、通道子模块和全连接层子模块；所述注意力特征融合模块将所述表情特征，从两个维度进行压缩和融合为注意力图，并将所述注意力图输入所述全连接层，获得所述不同表情类别；其中，所述两个维度包括：所述空间子模块提供的空间维度和所述通道子模块提供的通道维度。
[0010]可选地，所述空间子模块包括：最大和平均池化层，以及与所述最大和平均池化层连接的三个并联的卷积层；所述通道子模块包括：若干编码器，以及与所述若干编码器连接的两个并联的池化层。
[0011]可选地，所述交叉注意蒸馏损失函数包括：交叉熵损失、注意力分区损失和蒸馏损失；所述交叉注意蒸馏损失函数为：其中，为注意力分区损失，为交叉熵损失，为蒸馏损失。
[0012]可选地，对所述表情平衡模型进行训练包括：将所述数据集以类别增量的形式输入所述表情平衡模型中，每批次有一组新类别数据。
[0013]可选地，将所述数据集以类别增量的形式输入所述表情平衡模型中包括：S1.设定第一训练阶段的数据集，其中为第张图像, 为第一训练阶段数据集的图像总数；设定第二或后续阶段的数据集，其中和分别为第训练阶段中第张新类
别和旧类别的图像，和分别为第训练阶段中新类别和旧类别的图像总数；S2.在所述第训练阶段，采用数据集对所述表情平衡模型进行训练：S3.选取当前训练阶段的数据集中的预设数量的新类别数据，其中，为每个表情类别运行存放的样本数量；将所述新类别数据放入所述增量记忆内存模块中，完成所述增量记忆内存模块的内存更新；此外，在最后一个训练阶段，不再更新所述增量记忆内存模块的内存。
[0014]可选地，所述表情平衡微调模块对所述不同表情类别进行调节包括：构建一个平衡子集，其中表示第张图像, 为平衡子集中图像的总数；基于所述平衡子集以预设阈值的学习率对所述表情平衡模型进行调整，保持所述表情平衡模型的识别性能平衡。
[0015]与现有技术相比，本专利技术具有如下优点和技术效果：本专利技术采用增量技术来研究人脸表情识别的类别偏差问题，利用增量技术对数据分布敏感的特点，从而克服了不同表情类别在数据量和特征上的分布不平衡的问题，缓解了识别中的表情类别偏差。
[0016]本专利技术搭建了一个表情平衡网络对人脸表情图像中代表性不足的表情类别强化了特征提取，确保表情平衡网络不会被某个表情类别给主导，并将代表性强的特征迁移到不足的类别特征上。同时混合损失函数（交叉注意蒸馏损失），解决了表情平衡网络训练中存在的不稳定问题。最后表情平衡微调模块，有效地减缓模型对代表性强的表情类别的偏向性。
附图说明
[0017]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术实施例的表情平衡网络示意图；图2为本专利技术实施例的注意力特征融合网络示意图；图3为本专利技术实施例的表情平衡微调模块示意图。
具体实施方式
[0018]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0019]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增量技术和注意力机制的公平人脸表情识别方法，其特征在于，包括：构建并训练表情平衡模型，所述表情平衡模型包括：骨干模块、注意力特征融合模块和表情平衡微调模块；将人脸表情图像输入所述骨干模块，提取所述人脸表情图像的表情特征；将所述表情特征输入所述注意力特征融合模块，获取不同表情类别；将所述不同表情类别输入所述表情平衡微调模块，对不同所述表情类别进行调节，输出公平人脸表情识别结果。2.根据权利要求1所述的基于增量技术和注意力机制的公平人脸表情识别方法，其特征在于，训练所述表情平衡模型包括：获取所述人脸表情图像的数据集；构建交叉注意蒸馏损失函数；基于所述数据集和所述交叉注意蒸馏损失函数对所述表情平衡模型进行训练。3.根据权利要求2所述的基于增量技术和注意力机制的公平人脸表情识别方法，其特征在于，所述表情平衡模型还包括：增量记忆内存模块；所述增量记忆内存模块与所述骨干模块连接；在所述表情平衡模型的训练过程中，基于所述增量记忆内存模块保留上一训练阶段的预设数量的旧类别数据，减少所述表情平衡模型对代表性不足的表情类别的偏见。4.根据权利要求1所述的基于增量技术和注意力机制的公平人脸表情识别方法，其特征在于，所述骨干模块包括：一个卷积层、一个池化层和若干相连的残差连接单元；所述卷积层、池化层和若干所述残差连接单元依次连接；所述残差连接单元包括：主分支子单元和副分支子单元；所述主分支子单元，用于提取输入图像的不同特征；所述副分支子单元，用于连接所述残差连接单元的输入和输出。5.根据权利要求1所述的基于增量技术和注意力机制的公平人脸表情识别方法，其特征在于，所述注意力特征融合模块包括：空间子模块、通道子模块和全连接层子模块；所述注意力特征融合模块将所述表情特征，从两个维度进行压缩和融合为注意力图，并将所述注意力图输入所述全连接层，获得所述不同表情类别；其中，所述两个维度包括：所述空间子模块提供的空间维度和所述通道子模块提供的通...

【专利技术属性】
技术研发人员：古天龙，李映辉，罗义琴，李龙，冯旋，李晶晶，
申请(专利权)人：暨南大学，
类型：发明
国别省市：