一种基于动态分布融合的人脸表情预测方法技术

本发明专利技术公开了一种基于动态分布融合的人脸表情预测方法，包括获取人脸表情数据集，针对获取的数据集中的人脸图片进行预处理，获取预处理数据集；构造辅助枝干，并基于辅助枝干设计双分支神经网络模型；采用构造的辅助枝干针对获取的预处理数据集进行提取样本分布处理；构建类别分布，针对获取的样本分布进行挖掘情感信息处理；针对构建的类别分布和提取的样本分布进行动态分布融合处理；构建多任务学习框架，优化双分支神经网络模型；采用优化的双分支神经网络模型实现人脸表情预测；本发明专利技术引入标签分布学习，展现了相比单标签学习的优越性；提出动态分布融合，充分发挥了标签分布学习的效用；而且本发明专利技术的预测性能好、效率高、误差少。误差少。误差少。

【技术实现步骤摘要】
一种基于动态分布融合的人脸表情预测方法


[0001]本专利技术属于图像处理
，具体涉及一种基于动态分布融合的人脸表情预测方法。

技术介绍

[0002]人脸表情识别是计算机视觉领域的一个重要研究方向。作为情感识别的子领域，人脸表情识别可以通过对人脸图像的分析，判断出人脸的表情状态，为人机交互、情感计算、智能监控等领域提供了重要的支持。
[0003]人脸表情识别的流程主要包括人脸表情图像获取和预处理，人脸表情特征提取和人脸表情分类。人脸表情预处理是从获取的人脸表情图像，通过人脸检测和人脸对齐，得到人脸的精确位置，排除图片背景的干扰，预处理的成功率主要受图像质量、光线强弱和遮挡等因素的影响。常见的人脸表情特征提取包括几何特征、表观特征、混合特征和深度特征，前三者作为传统手工特征，在人脸表情识别研究的初期被广泛应用，但这些方法往往存在着精度不高、鲁棒性差等问题；近年来，随着深度学习技术的快速发展，通过深度卷积神经网络提取的深度特征在人脸表情识别任务上取得良好的表现。人脸表情分类是人脸表情识别的最后一步，对传统手工特征的分类常常使用K近邻法、支持向量机、随机森林、Adaboost算法、贝叶斯网络和单层感知机等；而在深度学习框架中，则可以采用端到端的形式进行表情识别，即深度神经网络在习得特征后直接对特征进行分类和优化。
[0004]人脸表达模型主要分为2D、2.5D和3D：2D人脸是通过普通相机拍摄的RGB人脸图像，或者通过红外相机拍摄的红外图像，是确定视角下表征颜色或纹理的图像，并不包含深度信息；2.5D人脸是某一视角下通过深度相机拍摄的人脸深度图像，曲面信息并不连续，没有被遮挡部分的深度信息；3D人脸是通过多个角度的人脸深度图像合成的点云或网格人脸图像，具有完整的曲面信息，包含深度信息。2D人脸表情识别的研究时间较长，软硬件技术较为完备，已经得广泛应用，但是由于2D人脸只反映二维平面信息而不包含深度信息，并不能完整地表达出真实人脸。相较2D人脸，3D人脸不受光照、遮挡或姿态等因素影响，具有更好的能力，可以更为真实地反映人脸信息，在人脸合成、人脸迁移等任务中得到应用。3D人脸一般通过专业设备获取人脸深度信息，主要包括双目相机、基于结构光原理的RGB
‑
D相机和基于光飞行时间原理的TOF相机。出于2D人脸的易获得性，2D人脸表情识别仍占据主导地位。
[0005]目前针对人脸表情预测的大多数方法选择单标签学习方法实现人脸表情预测。尽管这些方法已经取得不错的预测性能，但是由于单标签所包含的情感信息不足，难以描述模糊或错误标记样本，容易造成神经网络的过拟合，导致进一步提升预测精度十分困难。
[0006]也有少数方法选择标签分布学习方法实现人脸表情预测。与单标签学习方法不同，这些方法使用标签分布权重代替单标签进行训练。相较单标签，标签分布蕴含更丰富的情感信息，能够在训练过程中有效地避免过拟合现象，因而拥有显著的优势。然而，标签分布标注往往难以获取，因此仅提供单标签标注的人脸表情数据集仍占据主流地位。近年来
的标签分布学习方法着重从单标签构造标签分布，但是这些构造的标签分布普遍质量较低，无法完整发挥标签分布学习的优势。

技术实现思路

[0007]本专利技术的目的在于提供一种预测性能好、效率高、误差少的基于动态分布融合的人脸表情预测方法。
[0008]本专利技术提供的这种基于动态分布融合的人脸表情预测方法，包括如下步骤：
[0009]S1.获取人脸表情数据集，针对获取的数据集中的人脸图片进行预处理，获取预处理数据集；
[0010]S2.构造辅助枝干，并基于辅助枝干设计双分支神经网络模型；
[0011]S3.采用步骤S2构造的辅助枝干针对步骤S1获取的预处理数据集进行提取样本分布处理；
[0012]S4.构建类别分布，针对步骤S3获取的样本分布进行挖掘情感信息处理；
[0013]S5.针对步骤S4构建的类别分布和步骤S3获取的样本分布进行动态分布融合处理；
[0014]S6.构建多任务学习框架，优化步骤S2设计的双分支神经网络模型；
[0015]S7.采用步骤S6优化得到的双分支神经网络模型实现人脸表情预测。
[0016]步骤S1所述的获取人脸表情数据集，针对获取的数据集中的人脸图片进行预处理，获取预处理数据集，具体包括：
[0017]设定人脸表情数据集为且数据集中涵盖C类标签与N个样本，使用MTCNN算法进行人脸对齐处理，输出固定大小的人脸图片；将输出的人脸图片缩放到给定尺寸，并使用RandAugment技术进行数据增广；使用ImageNet数据集的均值与标准差进行人脸图片RGB通道的归一化处理。
[0018]步骤S2所述的构造辅助枝干，并基于辅助枝干设计双分支神经网络模型，具体包括：
[0019]采用ResNet18网络模型构造双分支神经网络模型。将ResNet18网络模型分为两部分：冻结ResNet18网络模型中的第1层作为特征提取器，使用ResNet18网络模型中的后3层作为特征鉴别器，将该特征鉴别器定义为目标枝干。基于目标枝干构造辅助枝干，辅助枝干的参数、结构同目标枝干一致。基于特征提取器、目标枝干和构造的辅助枝干，设计获得双分支神经网络模型。
[0020]步骤S3所述的采用步骤S2构造的辅助枝干针对步骤S1获取的预处理数据集进行提取样本分布处理，具体包括：
[0021]将步骤S2构造的辅助枝干输出的概率分布作为样本分布，采用下述公式表示样本分布：
[0022][0023][0024]其中，为样本x
i
的样本分布，y
j
为第j类标签，为标签y
j
对于样本x
i
的
描述程度，为辅助枝干对样本x
i
属于标签y
j
的预测概率；
[0025]辅助枝干通过交叉熵损失进行训练，以提高并保持辅助枝干提取样本分布的能力，采用下述公式表示交叉熵损失函数：
[0026][0027]其中，L
ce
是交叉熵损失函数，为样本x
i
的逻辑标签y
i
的第c个值，是辅助枝干对样本x
i
属于类别c的预测概率。
[0028]步骤S4所述的构建类别分布，针对步骤S3获取的样本分布进行挖掘情感信息处理，具体包括：
[0029]使用类别分布挖掘来找出样本分布中隐含的情感信息，消除样本分布误差对模型性能的影响，采用下述公式表示类别分布：
[0030][0031]其中，为类别c的类别分布，为属于类别c的样本x
i
的类别分布，N
c
为属于类别c的样本数量；
[0032]设置阈值t来判断输出的类别分布是否满足设定的稳健性要求，如果标签y
j
对于类别c的描述程度没有达到阈值t，使用阈值分布暂时替代类别分布训练模型，采用下述公式进行描述：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态分布融合的人脸表情预测方法，包括如下步骤：S1.获取人脸表情数据集，针对获取的数据集中的人脸图片进行预处理，获取预处理数据集；S2.构造辅助枝干，并基于辅助枝干设计双分支神经网络模型；S3.采用步骤S2构造的辅助枝干针对步骤S1获取的预处理数据集进行提取样本分布处理；S4.构建类别分布，针对步骤S3获取的样本分布进行挖掘情感信息处理；S5.针对步骤S4构建的类别分布和步骤S3获取的样本分布进行动态分布融合处理；S6.构建多任务学习框架，优化步骤S2设计的双分支神经网络模型；S7.采用步骤S6优化得到的双分支神经网络模型实现人脸表情预测。2.根据权利要求1所述的基于动态分布融合的人脸表情预测方法，其特征在于步骤S1所述的获取人脸表情数据集，针对获取的数据集中的人脸图片进行预处理，获取预处理数据集，具体包括：设定人脸表情数据集为且数据集中涵盖C类标签与N个样本，使用MTCNN算法进行人脸对齐处理，输出固定大小的人脸图片；将输出的人脸图片缩放到给定尺寸，并使用RandAugment技术进行数据增广；使用ImageNet数据集的均值与标准差进行人脸图片RGB通道的归一化处理。3.根据权利要求2所述的基于动态分布融合的人脸表情预测方法，其特征在于步骤S2所述的构造辅助枝干，并基于辅助枝干设计双分支神经网络模型，具体包括：采用ResNet18网络模型构造双分支神经网络模型。将ResNet18网络模型分为两部分：冻结ResNet18网络模型中的第1层作为特征提取器，使用ResNet18网络模型中的后3层作为特征鉴别器，将该特征鉴别器定义为目标枝干。基于目标枝干构造辅助枝干，辅助枝干的参数、结构同目标枝干一致。基于特征提取器、目标枝干和构造的辅助枝干，设计获得双分支神经网络模型。4.根据权利要求3所述的基于动态分布融合的人脸表情预测方法，其特征在于步骤S3所述的采用步骤S2构造的辅助枝干针对步骤S1获取的预处理数据集进行提取样本分布处理，具体包括：将步骤S2构造的辅助枝干输出的概率分布作为样本分布，采用下述公式表示样本分布：布：其中，为样本x
i
的样本分布，y
j
为第j类标签，为标签y
j
对于样本x
i
的描述程度，为辅助枝干对样本x
i
属于标签y
j
的预测概率；辅助枝干通过交叉熵损失进行训练，以提高并保持辅助枝干提取样本分布的能力，采用下述公式表示交叉熵损失函数：
其中，L
ce
是交叉熵损失函数，为样本x
i
的逻辑标签y
i
的第c个值，是辅助枝干对样本x
i
属于类别c的预测概率。5.根据权利要求4所述的基于动态分布融合的人脸表情预测方法，其特征在于步骤S4所述的构建类别分布，针对步骤S3获取的样本分布进行挖掘情感信息处理，具体包括：使用类别分布挖掘来找出样本分布中隐含的情感信息，消除样本分布误差对模型性能的影响，采用下述公式表示类别分布：其中，为类别c的类别分布，为属于类别c的样本x
i
的类别分布，N
c
为属于类别c的样本数量；设置阈值t来判断输出的类别分布是否满足设定的稳健性要求，如果标签y
j
对于类别c的描述程度没有达到阈值t，使用阈值分布暂时替代类别分布训练模型，采用下述公式进行描述：描述：描述：其中，是类别c的类别分布，是类别c的阈值分布，为标签y
j
对于类别c的描述程度。6.根据权利要求5所述的基于动态分布融合的人脸表情预测方法，其特征在于步骤S5所述的针对步骤S4构建的类别...

【专利技术属性】
技术研发人员：刘姝，许焱，万通明，王科选，奎晓燕，
申请(专利权)人：中南大学，
类型：发明
国别省市：