【技术实现步骤摘要】
本专利技术实施例涉及人工智能，尤其涉及一种人脸情绪识别网络模型的训练方法、装置、设备和介质。
技术介绍
1、基于卷积神经网络的情绪识别方法，较为主流的是基于卷积神经网络(convolutional neural networks，cnn)的基础架构提出的监督评分集合(supervisedscoring estimator，sse)；也可以将模型依次组合在一起，形成级联网络。现实中，人脸情绪是与多种因素共存的，如头部姿势，光照等，为了解决这一问题，引入多任务学习，如引入人脸关键点定位和人脸动作单元(action unit set，aus)检测；对抗神经网络(generativeadversarial network，gan)也应用于人脸情绪识别，但是这样的模型构建起来相对复杂。
2、然而，这种将多个相对较小的网络并行或串联集成的网络明显地增加了计算成本和存储需求。此外，每个子网络的权重通常是根据原始训练数据的性能来学习的，导致对新出现的不可见测试数据的过拟合。多任务网络结合的缺点是，它需要来自所有任务的标记数据，而且随着涉及的任务越来越多，训练变得越来越麻烦。
技术实现思路
1、本专利技术实施例提供一种人脸情绪识别网络模型的训练方法、装置、设备和介质，以解决现有的构建人脸情绪识别网络模型复杂，识别精准差处理效率低的问题。
2、为了解决上述技术问题，本专利技术是这样实现的：
3、第一方面，本专利技术实施例提供了一种人脸情绪识别网络模型的训练方法，所述
4、获取数据集；
5、将所述数据集中的训练图像输入到主干网络，得到关于所述训练图像的多个不同尺度的第一特征图像；
6、将所述多个不同尺度的第一特征图像输入到特征融合模块进行特征融合，得到多个不同尺度的第二特征图像；
7、将所述多个不同尺度的第二特征图像输入到检测模块进行多个不同尺度人脸检测，得到人脸特征图像；
8、将所述人脸特征图像输入到情绪分类模块，得到模型预测结果，所述模型预测结果包括：人脸情绪的分类得分、人脸框的坐标信息和人脸关键点的坐标信息；
9、根据所述模型预测结果对所述人脸情绪识别网络模型进行优化，得到优化后的人脸情绪识别网络模型。
10、可选的，所述获取数据集包括：
11、获取初始数据集，所述初始数据集中包括多张训练图像；
12、在至少部分所述训练图像上生成网格掩码，所述网格掩码包括水平方向的连续掩码和垂直方向的连续掩码；
13、在rgb通道的每个维度上将所述网格掩码随机旋转相同角度，得到扩充的训练图像；
14、根据所述初始数据集中的训练图像和所述扩充的训练图像，得到所述数据集。
15、可选的，所述主干网络包括：
16、多个卷积层，每个所述卷积层包含若干个卷积块；
17、每个所述卷积块采用深度可分离卷积；
18、所述卷积块包括普通卷积块和跳跃卷积块，所述跳跃卷积块采用跳跃连接的方式与其他卷积块进行关联。
19、可选的，所述将所述数据集中的训练图像输入到主干网络，得到关于所述训练图像的多个不同尺度的第一特征图像包括：
20、从第一个卷积块到最后一个卷积块对不同输入特征图像进行特征提取，依次得到不同卷积块的输出结果；
21、其中，第一个卷积块的输入特征图像为所述训练图像，若所述卷积块为所述卷积块所在卷积层的最后一个卷积块，所述卷积块的输出结果为所述卷积层的输出结果；
22、从所述多个卷积层和多个卷积块的输出结果中提取多个不同尺度的特征图像作为所述训练图像的多个不同尺度的第一特征图像。
23、可选的，所述将所述多个不同尺度的第一特征图像输入到特征融合模块进行特征融合，得到多个不同尺度的第二特征图像包括：
24、将所述多个不同尺度的第一特征图像输入到1×1的卷积中，生成统一维度的多个不同尺度的子特征图像；
25、从最高尺度的所述子特征图像到最低尺度的所述子特征图像，逐一进行上采样特征融合，依次得到不同尺度的第二特征图像，其中，所述最高尺度的第二特征图像为所述最高尺度的所述子特征图像；
26、其中，对第j-1尺度的所述子特征图像进行上采样特征融合包括：
27、对所述第j尺度的第二特征图像进行上采样，得到上采样后的特征图；
28、将所述上采样后的特征图与所述第j-1尺度的所述子特征图像进行相加，得到所述第j-1尺度的前第二特征图像；
29、将所述第j-1尺度的前第二特征图像输入到3×3的卷积，得到所述第j-1尺度的第二特征图像。
30、可选的，所述检测模块包括：
31、多个子检测模块，所述子检测模块的个数与所述第二特征图像尺度的个数相同，所述多个子检测模块的网络结构相同；
32、其中，所述网络结构包括：3×3的卷积模块、上下文模块、人脸情绪分类模块、框体回归模块和关键点回归模块；
33、每个所述子检测模块分别包含3个不同的先验框，所述先验框用于对人脸进行检测。
34、可选的，所述将所述多个不同尺度的第二特征图像输入到检测模块进行多个不同尺度人脸检测，得到人脸特征图像包括：
35、针对每个尺度的第二特征图执行以下操作，得到在所述尺度下的人脸特征图像：
36、将所述第二特征图像分别输入对应的所述子检测模块的3×3的卷积模块和上下文模块中，得到第一检测输出结果和第二检测输出结果；
37、将所述第一检测输出结果和所述第二检测输出结果进行维度上的拼接，得到所述尺度下的人脸特征图像。
38、可选的，所述情绪分类模块包括人脸情绪分类模块、框体回归模块和关键点回归模块，
39、所述将所述人脸特征图像输入到情绪分类模块，得到模型预测结果包括：
40、针对每个尺度的人脸特征图像执行以下操作，得到在所述尺度下的模型预测结果：
41、将所述人脸特征图像分别输入到三个1×1的卷积调整通道数，得到3个分类输入特征图像；
42、将所述三个分类输入特征图像分别输入到所述人脸情绪分类模块、框体回归模块和关键点回归模块，得到所述尺度下的人脸情绪的分类得分、人脸框的坐标信息和人脸关键点的坐标信息。
43、可选的，所述根据所述模型预测结果对所述人脸情绪识别网络模型进行优化，得到优化后的人脸情绪识别网络模型包括：
44、获取多任务网络损失函数，所述多任务网络损失函数包括：人脸情绪的分类损失、人脸框的坐标信息的回归损失和人脸关键点的坐标信息回归损失；
45、根据所述人脸情绪的分类得分、人脸框的坐标信息、人脸关键点的坐标信息和所述多任务网络损失函数，对所述人脸情绪识别网络模型进行优化，得到优化后的人脸情绪识别网本文档来自技高网...
【技术保护点】
1.一种人脸情绪识别网络模型的训练方法，其特征在于，所述人脸情绪识别网络模型包括主干网络、特征融合模块、检测模块和情绪分类模块，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取数据集包括：
3.根据权利要求1所述的方法，其特征在于，所述主干网络包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述数据集中的训练图像输入到主干网络，得到关于所述训练图像的多个不同尺度的第一特征图像包括：
5.根据权利要求1所述的方法，其特征在于，所述将所述多个不同尺度的第一特征图像输入到特征融合模块进行特征融合，得到多个不同尺度的第二特征图像包括：
6.根据权利要求1所述的方法，其特征在于，所述检测模块包括：
7.根据权利要求6所述的方法，其特征在于，所述将所述多个不同尺度的第二特征图像输入到检测模块进行多个不同尺度人脸检测，得到人脸特征图像包括：
8.根据权利要求6所述的方法，其特征在于，所述情绪分类模块包括人脸情绪分类模块、框体回归模块和关键点回归模块，
9.根据权利要求1所述
10.一种人脸情绪识别网络模型的训练装置，其特征在于，所述人脸情绪识别网络模型包括主干网络、特征融合模块、检测模块和情绪分类模块，所述装置包括：
11.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至9中任一项所述的人脸情绪识别网络模型的训练方法的步骤。
12.一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的人脸情绪识别网络模型的训练方法的步骤。
...【技术特征摘要】
1.一种人脸情绪识别网络模型的训练方法，其特征在于，所述人脸情绪识别网络模型包括主干网络、特征融合模块、检测模块和情绪分类模块，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取数据集包括：
3.根据权利要求1所述的方法，其特征在于，所述主干网络包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述数据集中的训练图像输入到主干网络，得到关于所述训练图像的多个不同尺度的第一特征图像包括：
5.根据权利要求1所述的方法，其特征在于，所述将所述多个不同尺度的第一特征图像输入到特征融合模块进行特征融合，得到多个不同尺度的第二特征图像包括：
6.根据权利要求1所述的方法，其特征在于，所述检测模块包括：
7.根据权利要求6所述的方法，其特征在于，所述将所述多个不同尺度的第二特征图像输入到检测模块进行多个不同尺度人脸检测，得到人脸特征图像包括：
【专利技术属性】
技术研发人员：马偲婷，李东栋，
申请(专利权)人：中移苏州软件技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。