一种基于正负样本对比学习的表情识别方法技术

本发明专利技术公开了一种基于正负样本对比学习的表情识别方法，S1.采集面部图像；S2.将所述面部图像输入至训练好的机器学习模型中对面部图像中的表情进行识别；S3.输出面部图像的表情类别；在机器学习模型的过程中，在结构相似度对比学习方法中引入了负样本，考虑了拉远一个批量样本内正样本和负样本之间的距离。同时，考虑到一个批量的样本中，正样本和负样本数据量之间的不平衡，对负样本进行困难样本发掘，使得模型在对正样本的结构相似度进行增大约束的同时，对与正样本最为相似的负样本进行减小约束，进一步发挥对比学习的效果，从而提高了表情识别的准确率。高了表情识别的准确率。高了表情识别的准确率。

【技术实现步骤摘要】
一种基于正负样本对比学习的表情识别方法


[0001]本专利技术涉及表情识别
，更具体的说是涉及一种基于正负样本对比学习的表情识别方法。

技术介绍

[0002]人脸表情识别技术是指通过计算机识别图像中人的情绪，具有重要的实际应用价值，包括智慧医疗、安全驾驶检测、在线教育、心理辅导和娱乐交互等方面。但是在实际场景下的表情识别精度来看，目前人脸表情识别的精度还没有达到人类能到达的水平。
[0003]自然场景下的表情识别比受控实验场景的表情识别任务更具有挑战性，因为在自然条件下的采集图像包含了更多的环境因素差异，比如光照，分辨率和更大幅度的姿态变化。其次，因采集条件不统一，自然场景下的表情识别任务表现出更大的类间相似类内差异大的问题，例如同样是“惊讶”的表情，因为拍摄角度、光照条件和人物表达方式的不同，外在样貌表现出很大的差异性。同样，来自不同类别的图像有着相似的外貌，表现出大的类间相似性。另一个例子如“开心”这个类别，由于采集条件不一，对于微笑和大笑都是同一类别，但是它们的图像外貌差异大，而对于“伤心”和“恐惧”这两个类别的图像，外貌差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于正负样本对比学习的表情识别方法，其特征在于，包括以下步骤：S1.采集面部图像；S2.将所述面部图像输入至训练好的机器学习模型中对面部图像中的表情进行识别；S3.输出面部图像的表情类别；S2中所述机器学习模型的训练方法具体为：S21.对每个样本生成若干新的样本；对一个批量的样本进行强数据增强后获得进行弱数据增强后获得其中，x
i
为人脸图像，y
i
为x
i
对应的表情标签；获取当前弱增强样本x``
i
及其强增强样本x`
i
视为正样本对；将与当前样本x``
i
不同类别的其他所有样本的增强样本作为负样本对，第i个样本的负样本对集合表示为S22.输入深度神经网络，提取每个样本的特征；对弱增强样本x``
i
和强增强样本x`
i
进行特征提取后分别获得特征表示：U＝{u
i
|i＝1,2,
……
HW},V＝{v
j
|j＝1,2,
……
HW},其中u
i
,v
j
分别作为供给点和目的地点的特征向量表示；S23.计算深度神经网络的损失函数；定义第i个样本的负样本相似度集合为其集合大小为K
i
；总损失函数为：L＝L
cls
+βL
hard
其中β为超参数表示平衡系数；L
cls
为softmax分类损失函数，L
hard
为负样本自适应加权函数：其中，N为批量内样本数目；为结构相似度转换概率，γ为缩放系数，s
i,j
代表第i个样本和第j个增强样本之间的结构相似度；所有样本的概率和为1；S24.根据损失函数优化深度神...

【专利技术属性】
技术研发人员：文贵华，诸俊浩，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：