图像处理方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种图像处理方法、装置、存储介质及电子设备，属于图像处理领域，所述方法包括：获取包括面部信息的目标图像；将所述目标图像输入预先训练完成的情绪分类网络，得到所述目标图像中面部信息表征的情绪信息；其中，所述情绪分类网络包括由内卷算子构成的RedNet特征提取器，所述RedNet特征提取器用于根据所述目标图像得到特征图像，以基于所述特征图像得到所述情绪信息。通过使用内卷算子组成的RedNet结构作为特征提取器，对输入该情绪分类网络的图像进行初步处理，提取图片的局部细节并将得到的特征图像输入该情绪分类网络的下游模块，有效地提高了情绪分类网络输出的情绪信息的最终准确率。情绪信息的最终准确率。情绪信息的最终准确率。

【技术实现步骤摘要】
图像处理方法、装置、存储介质及电子设备


[0001]本公开涉及图像处理领域，具体地，涉及一种图像处理方法、装置、存储介质及电子设备。

技术介绍

[0002]情感识别是任何人际沟通中不可避免的一部分，人们通过观察他人的情感变化来确认自己的行为是否合理有效。随着科技不断进步，情感识别可以使用不同的特征来检测识别，例如人脸、语音、脑电图，甚至言语内容，在这些特征中，通常面部表情是更容易被观测到的。
[0003]在相关技术中，近年来，随着深度学习的运用，尤其是ViT(Vision Transformer)模型的出现，也成功打破了基于卷积和池化主导的网络在分类任务上面的垄断，然而，ViT模型的底层卷积部分过于简洁，网络底层对于更细节的图像信息利用的非常不到位，而中间处理阶段也没有特征图尺寸递减的变换。

技术实现思路

[0004]为了解决相关技术中存在的问题，本公开提供一种图像处理方法、装置、存储介质及电子设备。
[0005]为了实现上述目的，本公开第一方面提供一种图像处理方法，所述方法包括：
[0006]获取包括面部信息的目标图像；
[0007]将所述目标图像输入预先训练完成的情绪分类网络，得到所述目标图像中面部信息表征的情绪信息；
[0008]其中，所述情绪分类网络包括由内卷算子构成的RedNet特征提取器，所述RedNet特征提取器用于根据所述目标图像得到特征图像，以基于所述特征图像得到所述情绪信息。
[0009]可选地，所述基于所述特征图像得到所述情绪信息包括：
[0010]将所述特征图像输入Transformer编码器，得到所述目标图像对应的特征向量，所述Transformer编码器包括多头自注意模块、多层感知器以及层归一化模块；
[0011]将所述特征向量输入全连接层，得到所述目标图像中面部信息表征的情绪信息。
[0012]可选地，所述情绪分类网络的训练包括：
[0013]获取训练集，所述训练集包括多个训练图像，所述多个训练图像中的每一个训练图像包括面部信息以及对应该面部信息预先标注的情绪标签；
[0014]针对所述训练集中的任意目标训练图像，将所述目标训练图像输入初始情绪分类网络中的RedNet特征提取器，得到所述目标训练图像的特征图像；
[0015]将所述目标训练图像的特征图像输入所述Transformer编码器，得到所述目标训练图像对应的特征向量；
[0016]将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面
部信息表征的情绪信息对应的预测标签；
[0017]根据所述预测标签与所述目标训练图像预先标注的情绪标签，对所述情绪分类网络中的参数进行调整，以得到训练后的情绪分类网络。
[0018]可选地，所述全连接层包括注意力因子，所述将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面部信息表征的情绪信息对应的预测标签包括：
[0019]将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面部信息表征的情绪信息对应的预测标签，以及所述目标训练图像的权重信息；
[0020]所述根据所述预测标签与所述训练图像预先标注的情绪标签，对所述情绪分类网络中的参数进行调整包括：
[0021]根据所述预测标签与所述目标训练图像预先标注的情绪标签，以及所述目标训练图像的权重信息，基于交叉熵损失函数以及正则化损失对所述情绪分类网络中的参数进行调整。
[0022]可选地，所述方法还包括：
[0023]获取测试集，所述测试集包括多个测试图像，所述多个测试图像中的每一个测试图像包括面部信息以及对应该面部信息预先标注的情绪标签；
[0024]针对所述测试集中的任意目标测试图像，将所述目标测试图像输入所述训练后的情绪分类网络中的RedNet特征提取器，得到所述目标测试图像的特征图像；
[0025]将所述目标测试图像的特征图像输入所述Transformer编码器，得到所述目标测试图像对应的特征向量；
[0026]将所述目标测试图像对应的特征向量输入MC
‑
dropout层，确定所述目标测试图像的不确定性信息；
[0027]确定所述多个测试图像的不确定性信息是否满足预设规律，在满足所述预设规律的情况下，将所述训练后的情绪分类网络作为所述训练完成的情绪分类网络。
[0028]本公开第二方面提供一种图像处理装置，所述装置包括：
[0029]获取模块，用于获取包括面部信息的目标图像；
[0030]情绪确定模块，用于将所述目标图像输入预先训练完成的情绪分类网络，得到所述目标图像中面部信息表征的情绪信息；
[0031]其中，所述情绪分类网络包括由内卷算子构成的RedNet特征提取器，所述RedNet特征提取器用于根据所述目标图像得到特征图像，以基于所述特征图像得到所述情绪信息。
[0032]可选地，所述情绪确定模块具体用于：
[0033]将所述特征图像输入Transformer编码器，得到所述目标图像对应的特征向量，所述Transformer编码器包括多头自注意模块、多层感知器以及层归一化模块；
[0034]将所述特征向量输入全连接层，得到所述目标图像中面部信息表征的情绪信息。
[0035]可选地，所述装置包括：
[0036]第二获取模块，用于获取训练集，所述训练集包括多个训练图像，所述多个训练图像中的每一个训练图像包括面部信息以及对应该面部信息预先标注的情绪标签；
[0037]特征提取模块，针对所述训练集中的任意目标训练图像，将所述目标训练图像输
入初始情绪分类网络中的RedNet特征提取器，得到所述目标训练图像的特征图像；
[0038]特征向量确定模块，用于将所述目标训练图像的特征图像输入所述Transformer编码器，得到所述目标训练图像对应的特征向量；
[0039]预测模块，用于将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面部信息表征的情绪信息对应的预测标签；
[0040]调整模块，用于根据所述预测标签与所述目标训练图像预先标注的情绪标签，对所述情绪分类网络中的参数进行调整，得到训练后的情绪分类网络。
[0041]本公开第三方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面中任一项所述方法的步骤。
[0042]本公开第四方面提供一种电子设备，包括：
[0043]存储器，其上存储有计算机程序；
[0044]处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中任一项所述方法的步骤。
[0045]通过上述技术方案，通过使用内卷算子组成的RedNet结构作为特征提取器，对输入该情绪分类网络的图像进行初步处理，提取图片的局部细节并将得到的特征图像输入该情绪分类网络的下游本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取包括面部信息的目标图像；将所述目标图像输入预先训练完成的情绪分类网络，得到所述目标图像中面部信息表征的情绪信息；其中，所述情绪分类网络包括由内卷算子构成的RedNet特征提取器，所述RedNet特征提取器用于根据所述目标图像得到特征图像，以基于所述特征图像得到所述情绪信息。2.根据权利要求1所述的方法，其特征在于，所述基于所述特征图像得到所述情绪信息包括：将所述特征图像输入Transformer编码器，得到所述目标图像对应的特征向量，所述Transformer编码器包括多头自注意模块、多层感知器以及层归一化模块；将所述特征向量输入全连接层，得到所述目标图像中面部信息表征的情绪信息。3.根据权利要求2所述的方法，其特征在于，所述情绪分类网络的训练包括：获取训练集，所述训练集包括多个训练图像，所述多个训练图像中的每一个训练图像包括面部信息以及对应该面部信息预先标注的情绪标签；针对所述训练集中的任意目标训练图像，将所述目标训练图像输入初始情绪分类网络中的RedNet特征提取器，得到所述目标训练图像的特征图像；将所述目标训练图像的特征图像输入所述Transformer编码器，得到所述目标训练图像对应的特征向量；将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面部信息表征的情绪信息对应的预测标签；根据所述预测标签与所述目标训练图像预先标注的情绪标签，对所述情绪分类网络中的参数进行调整，以得到训练后的情绪分类网络。4.根据权利要求3所述的方法，其特征在于，所述全连接层包括注意力因子，所述将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面部信息表征的情绪信息对应的预测标签包括：将所述目标训练图像对应的特征向量输入全连接层，得到所述目标训练图像中面部信息表征的情绪信息对应的预测标签，以及所述目标训练图像的权重信息；所述根据所述预测标签与所述训练图像预先标注的情绪标签，对所述情绪分类网络中的参数进行调整包括：根据所述预测标签与所述目标训练图像预先标注的情绪标签，以及所述目标训练图像的权重信息，基于交叉熵损失函数以及正则化损失对所述情绪分类网络中的参数进行调整。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：获取测试集，所述测试集包括多个测试图像，所述多个测试图像中的每一个测试图像包括面部信息以及对应该面部信息预先标注的情绪标签；针对所述测试集中的任意目标测试图像，将所述目标测试图像输入所述训练后的情绪分类网络中的RedNet特征提取...

【专利技术属性】
技术研发人员：请求不公布姓名，陈奕名，
申请(专利权)人：新东方教育科技集团有限公司，
类型：发明
国别省市：