一种基于先验知识的人脸表情识别方法技术

本发明专利技术公开了一种基于先验知识的人脸表情识别方法。该方法具体步骤为：(1)对图像数据集进行预处理；(2)将预处理后的图像的先验分布转化为类别的平均分布，再将对应的独热标签作为索引从中提取先验知识，然后将先验知识转化为特定于每个数据集的后验概率，并将标签分布和后验概率加权求和得到混合分布；(3)将经预处理后的人脸表情图像输入至预训练好的学生模型网络中，进行特征提取；(4)将提取到的与表情高相关的特征通过全连接层输出预测分布，再经平滑处理后通过分类器最终得到分类结果。本发明专利技术利用了预先得到的先验知识，能在一定程度上解决人脸表情识别中常见的表情模糊性问题，得到更趋于现实的预测。得到更趋于现实的预测。得到更趋于现实的预测。

【技术实现步骤摘要】
facialexpression recognition[J].IEEE Access,2020,8:131988
‑
132001.)将数据集标定过程中的投票结 果作为先验知识，将其与标签平滑损失函数结合，从而得到更符合人类直觉的预测分布。在这 个问题上，Shen J(She J,Hu Y,Shi H,et al.Dive into Ambiguity:Latent Distribution Mining andPairwise Uncertainty Estimation for Facial Expression Recognition[C]//Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:6248
‑
6257.)目前取得 了最好的表现，提出的方法在辅助多分支的框架帮助下，在标签维度中充分利用了潜在分布来 提升性能，而在样本维度中，通过学习语义特征之间的关系来估计样本的模糊性程度。同时表 情中的先验知识如动作单元也能作为先验知识来提升表情识别的性能。
[0006]对于遮挡和姿态问题，往往会引入注意力模块，将注意力专注于未遮挡的部分，从而减小 遮挡对性能的影响，但是该类算法因为基于裁剪区域和裁剪块，在模型训练上需要花费大量的 时间。Li Y(Li Y,Zeng J,Shan S,et al.Occlusion aware facial expression recognition using cnn withattention mechanism[J].IEEE Transactions on Image Processing,2018,28(5):2439
‑
2450.)考虑到 不同的感兴趣区域，提出了基于块的注意力网络和基于全局和局部的注意力网络，前者只专注 于局部的面部块，而后者将局部表示和全局表示融合以提升性能。文献2 Wang K(Wang K,PengX,Yang J,et al.Region attention networks for pose and occlusion robust facial expressionrecognition[J].IEEE Transactions on Image Processing,2020,29:4057
‑
4069.)提出了区域自注意 力网络，可以自适应地捕获各个区域的重要性，并且定义了区域偏差损失函数，以鼓励关注更 重要的人脸区域。

技术实现思路

[0007]针对人脸表情识别领域中的表情模糊性问题，目前的研究在如何定义模糊性程度上存在复 杂且多阶段的缺陷。本专利技术的目的是提出一种基于先验知识的人脸表情识别方法，利用更简单、 更高效的框架来降低表情模糊性问题带来的影响，从而实现更好的分类结果。
[0008]为达上述目的，本专利技术采用的技术方案如下：
[0009]一种基于先验知识的人脸表情识别方法，具体步骤包括：
[0010]步骤1，对图像数据集进行预处理，所述图像数据集中包括对应的真实标签数据；
[0011]步骤2，将预处理后的图像的先验分布转化为类别的平均分布，再将对应的独热标签作为 索引从中提取先验知识，然后将先验知识转化为特定于每个数据集的后验概率，并将标签分布 和后验概率加权求和得到混合分布，以用于后续步骤指导学生模型更好地预测与人类直觉更一 致的结果；
[0012]步骤3，将经预处理后的人脸表情图像输入至预训练好的学生模型网络中，进行特征提取；
[0013]步骤4，将提取到的与表情高相关的特征通过全连接层输出预测分布，再经平滑处理后通 过分类器最终得到表情分类结果。
[0014]进一步地，所述步骤1中，预处理具体为：通过旋转和缩放的方法扩充图像数据集，并对 数值归一化。
[0015]进一步地，所述步骤2中，提取先验知识的方法为：
[0016]步骤21，预处理后的图像数据集中每张图像x的先验分布为其中代表 v
x
为C
×
1阶矩阵，C为图像数据集的类别数，且∑v
x
＝1；代表图像集，代表图像集对 应的独热标签；
[0017]步骤22，对于每个独热标签y的平均分布为：
[0018][0019]其中，是指图像集中独热标签y的样本子集，为子集的样本数；
[0020]步骤23，将独热标签y作为索引，将每个独热标签y的平均分布转化为先验知识 p
o
(k|x)＝d
yk
，其中x代表图像，为当独热标签为y时，被分类为类别k的概率。
[0021]进一步地，所述步骤2中，采用朴素贝叶斯公式将先验知识转化为特定于每个数据集的后 验概率：
[0022][0023]其中A事件代表图像的独热标签为y，B事件代表图像被预测为类别k，P(A)为数据集的 分布，P(B
k
|A)代表已知图像的独热标签为y且图像被预测为类别k的概率，即先验知识p
o
(k|x)，P(A|B
k
)为推理过程中模型的预测结果，即后验概率p
e
(k|x)。
[0024]进一步地，所述步骤2中，混合分布的计算方法为：
[0025]p
f
(k|x)＝(1
‑
α)p
e
(k|x)+αq(k|x)
[0026]其中α控制分布之间的权重，p
e
(k|x)为后验概率，q(k|x)为真实标签分布。
[0027]进一步地，所述步骤3中，学生模型网络的训练步骤包括：步骤31，将训练集输入学生模 型网络中，获取学生模型网络的输出结果；步骤32，基于学生模型网络的输出结果和真实标 签数据确定交叉熵损失函数，损失函数中包括步骤2得到的混合分布；步骤33，利用所述交 叉熵损失函数对学生模型网络进行迭代训练。
[0028]进一步地，所述步骤4中，将预测分布p(k|x)，经过温度系数T平滑处理后得到
[0029]进一步地，所述步骤4中，学生模型网络的损失函数为：
[0030]L＝(1
‑
β)L
CE
+βL
f
[0031]其中L
CE
为交叉熵函数，β控制损失函数之间的权重，L
f
为教师
‑
学生模型损失函数：
[0032][0033]其中，KL为相对熵，p
f
(k|x)为混合分布，为混合分布p
f
(k|x)经过温度系数T平滑 处理后得到的，x为图像，代表图像集。
[0034]本专利技术提出的一种基于先验知识的人脸表情识别方法，利用了预先得到的先验知识，以更 简单高效且不用预训练的虚拟教师指导学生模型，在几乎不增加模型训练成本的情况下，进一 步提升了人脸本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于先验知识的人脸表情识别方法，其特征在于，该方法的步骤包括：步骤1，对图像数据集进行预处理，所述图像数据集中包括对应的真实标签数据；步骤2，将预处理后的图像的先验分布转化为类别的平均分布，再将对应的独热标签作为索引从中提取先验知识，然后将先验知识转化为特定于每个数据集的后验概率，并将标签分布和后验概率加权求和得到混合分布，以用于后续步骤指导学生模型更好地预测与人类直觉更一致的结果；步骤3，将经预处理后的人脸表情图像输入至预训练好的学生模型网络中，进行特征提取；步骤4，将提取到的与表情高相关的特征通过全连接层输出预测分布，再经平滑处理后通过分类器最终得到表情分类结果。2.根据权利要求1所述的一种基于先验知识的人脸表情识别方法，其特征在于，所述步骤1中，预处理具体为：通过旋转和缩放的方法扩充图像数据集，并对数值归一化。3.根据权利要求1所述的一种基于先验知识的人脸表情识别方法，其特征在于，所述步骤2中，提取先验知识的方法为：步骤21，预处理后的图像数据集中每张图像x的先验分布为其中代表v
x
为C
×
1阶矩阵，C为图像数据集的类别数，且∑v
x
＝1；代表图像集，代表图像集对应的独热标签；步骤22，对于每个独热标签y的平均分布为：其中，是指图像集中独热标签y的样本子集，为子集的样本数；步骤23，将独热标签y作为索引，将每个独热标签y的平均分布转化为先验知识p
o
(k|x)＝d
yk
，其中x为图像，为当独热标签为y时，被分类为类别k的概率。4.根据权利要求1所述的一种基于先验知识的人脸表情识别方法，其特征在于，所述步骤2中，采用朴素贝叶斯公式将先验知识转化为特定于每个数据集的后验概率：其中A事件代表图像的独热标签为y，B事件代表图像被预测为类别k，P(A)为数据集的分布，P(B
k
|A)...

【专利技术属性】
技术研发人员：林泽昊，沈秋，曹汛，
申请(专利权)人：南京大学，
类型：发明
国别省市：