本发明专利技术涉及图像处理技术领域，具体涉及一种基于一致性学习的抗噪声表情识别方法，通过构建具有噪声鲁棒的人脸表情识别模型，具体通过构建基于双视图的共享权重的深度神经网络和一致性学习策略，使用协同学习的策略进行模型训练，利用不同的数据增强策略构建双视图图像输入到共享权重的深度神经网络模型中提取图像的高维空间特征、低维空间特征以及预测结果，再对共享权重网络提取的高维空间特征、低维空间特征以及预测结果分别采用不同一致性学习策略校准网络学到的高、低维特征以及预测结果，优化网络模型，直至表情识别模型收敛，最后使用将待识别的人脸表情图像输入到收敛后的表情识别模型进行测试，得到鲁棒的情感表征和表情识别效果。
【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及一种基于一致性学习的抗噪声表情识别方法。
技术介绍
1、随着人工智能技术的发展，表情识别技术被广泛应用于情感分析、人机交互、心理健康检测以及疲劳驾驶等领域。然而，现实生活中采集到的大规模表情图像往往受到诸多因素的干扰(如低光照条件、遮挡、头部姿态),其数据集的标注存在噪声，比如不清晰或者存在遮挡的表情图像，标注者的主观性，具有歧义的表情图像，以及错误标注等。现有的表情识别算法在处理噪声标注方面存在一定的局限性，导致其性能下降，影响表情识别技术在真实应用场景中的可靠性。因此，设计鲁棒可靠的抗噪声表情识别技术应对复杂的场景，增强算法的实用性和可靠性是一项重要的有挑战且意义的工作。
2、目前，有研究学者提出采用不确定度估计来建模每张人脸表情图像的不确定度，并通过标签纠正方式重新标记错误的样本，以减少表情标签标注主观性和具有歧义表情的样本对网络的影响。
3、但是，深度神经网络存在记忆特性，即网络一开始很容易记住容易样本，之后逐步拟合噪声标签样本，以及部分人脸表情存在较大的类间相似性，表情之间存在歧义性。此前的方法通过建模表情的不确定度会混淆干净的困难样本与具有歧义性的表情样本，无法区分这两类噪声类型，从而导致最终模型识别表情的准确度不高。
技术实现思路
1、本专利技术的目的在于提供一种基于一致性学习的抗噪声表情识别方法，旨在克服现有的深度神经网络因为无法区分干净的困难样本与具有歧义性的表情样本导致的模型识别表情准确度不高的技术问题。</p>2、为实现上述目的，本专利技术提供了一种基于一致性学习的抗噪声表情识别方法，包括下列步骤：
3、步骤1：获取带原始标签的人脸表情训练数据集，并对人脸表情训练数据集进行预处理操作，进一步采用数据增强策略构建双视图输入图像；
4、步骤2：构建基于双视图的共享权重的深度神经网络，将所述双视图输入图像输入到所述共享权重的深度神经网络中分别提取出高维空间特征、低维空间特征及预测结果；
5、步骤3：设计一致性学习策略，对高维空间特征、低维空间特征以及预测结果采取不同的一致性学习约束，分别校准不同空间特征以及预测结果；
6、步骤4：将所述人脸表情训练数据集的人脸表情图像输入共享权重的深度神经网络中优化网络误差，最终收敛后获得最佳的抗噪声的表情识别模型；
7、步骤5：将待识别的人脸表情图像输入到收敛后的表情识别模型进行测试，获取表情识别结果。
8、可选的，在步骤1中，对每一张人脸表情图像x，经过两次相同的数据增强策略，即由随机裁剪、随机水平翻转、随机擦除以及randaugment组成的强增强策略，得到双视图图像xs和x's。
9、可选的，所述共享权重的深度神经网络由resnet18特征提取器、多层感知机以及分类器组合而成，所述多层感知机由2层全连接层和一个非线性激活函数relu组成，目的在于将resnet18特征提取器提取出的512维高维空间特征投影到128维的低维空间中，即将高维特征的通道维度由512降维到128维。
10、可选的，在步骤2中，将双视图图像xs和x's送入共享权重的深度神经网络，分别输出高维空间特征vs和v's，低维空间特征为zs和z's，预测结果为ps和p's。
11、可选的，在步骤3中，针对高维空间特征vs和v's，采用特征一致性学习策略约束vs和v's具有相似的高级语义表示，从而对高维空间特征进行校准，表达式如下：
12、lfc＝cosine(vs,v's)))
13、其中，lfc表示特征一致性学习损失函数；cosine表示余弦相似度函数。
14、可选的，在步骤3中，针对低维空间特征zs和z's，采用无监督实例对比一致性学习策略对低维空间特征zs和z's进行校准，从而学习到具有判别性的特征，表达式如下：
15、lcon＝linfonce(zs,z's)+linfonce(z's,zs)
16、其中，linfonce为无监督对比损失函数；lcon为实例对比一致性学习损失函数。
17、可选的，在步骤3中，针对网络预测结果ps和p's，采用广义的jensen-shannon散度进行一致性学习，迫使不同视图下经过同一共享权重的网络具有一致的预测结果，通过校准预测结果，一定程度上避免网络拟合噪声标签，表达式如下：
18、
19、其中,lgjs表示噪声鲁棒的一致性损失函数；m＝3表示分布的数量，p(1)表示目标分布，即真实标签分布；而p(2)和p(3)分别表示双视图预测结果ps和p's的分布；wi∈[0,1]表示权重，其中w1＝0.3，w2＝w3＝0.35；；dkl(.)表示kl散度；β＝-(1-w1)log(1-w1)是一个常量因子，用于调制整个lgjs损失函数。
20、可选的，所述表情识别模型的总体损失函数表达式如下：
21、l＝lfc+lcon+αlgjs
22、其中，α＝2为超参数，用于平衡后一项损失的权重。
23、可选的，在步骤5中，将待测试样本输入收敛后的表情识别模型中，最后使用softmax分类器得到表情分类结果。
24、本专利技术提供了一种基于一致性学习的抗噪声表情识别方法，通过构建具有噪声鲁棒的人脸表情识别模型，具体通过构建基于双视图的共享权重的深度神经网络和一致性学习策略，使用协同学习的策略进行模型训练，利用不同的数据增强策略构建双视图图像输入到共享权重的深度神经网络模型中提取图像的高维空间特征、低维空间特征以及预测结果，再对共享权重网络提取的高维空间特征、低维空间特征以及预测结果分别采用不同一致性学习策略校准网络学到的高、低维特征以及预测结果，优化网络模型，直至表情识别模型收敛，最后使用将待识别的人脸表情图像输入到收敛后的表情识别模型进行测试，得到鲁棒的情感表征和表情识别效果。
本文档来自技高网...
【技术保护点】
1.一种基于一致性学习的抗噪声表情识别方法，其特征在于，包括下列步骤：
2.如权利要求1所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
3.如权利要求2所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
4.如权利要求3所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
5.如权利要求4所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
6.如权利要求5所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
7.如权利要求6所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
8.如权利要求7所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
9.如权利要求8所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
【技术特征摘要】
1.一种基于一致性学习的抗噪声表情识别方法，其特征在于，包括下列步骤：
2.如权利要求1所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
3.如权利要求2所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
4.如权利要求3所述的基于一致性学习的抗噪声表情识别方法，其特征在于，
5.如权利要求4所述的基于一致性学习...
【专利技术属性】
技术研发人员：谭玉枚，宋树祥，夏海英，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。