【技术实现步骤摘要】
本专利技术涉及表情识别，尤其涉及一种改进的多尺度注意残差关系感知的表情识别方法及装置。
技术介绍
1、表情识别是计算机视觉领域的一个重要研究方向，旨在通过计算机对人脸表情进行识别和分析，实现对个体情感状态的理解。表情识别中主要包括人脸检测、特征提取以及表情分类，其中特征提取是最重要的一环，关乎表情识别的性能。最早期的表情识别都是通过人工设计的方法提取表情特征，这种方法不仅费时费力，精度还不高。随着深度学习的不断发展，深度卷积神经网络被用来自动地学习并提取面部表情特征，使得表情识别的性能得到了提高。注意力机制的出现加强了模型对有关特征提取的能力，进一步改善了表情识别的准确性。尽管表情识别已经取得了显著的成绩，但是仍然面临一些挑战。现实场景中，面部图像往往会受到多种因素的影响而导致信息不完整，这些因素包括遮挡、姿势变化、光照条件等。面部不完整信息可能会造成识别系统性能下降，因为某些关键信息可能无法被准确提取，从而影响了对表情的准确识别和情感状态的推断。此外，不同表情类别之间的区别往往不明显，比如生气和厌恶的表情可能在外观上非常相似，这会使得模型难以准确地区分不同的表情类别。即使是同一类别的表情，在不同的个体或不同的环境下也会存在较大的变化。例如，同一种表情可能会因为个体的年龄、性别、肤色等因素而产生差异，这会增加模型学习的难度。
技术实现思路
1、本专利技术针对现有技术的不足，研制一种改进的多尺度注意残差关系感知的表情识别方法及装置。
2、本专利技术解决技术问题的技术方案为
3、一方面，本申请提供了一种改进的多尺度注意残差关系感知的表情识别方法，包括如下步骤：
4、a：将人脸图像划分为训练集和验证集，并进行数据预处理，将处理好的图像输入到3×3 的卷积层，得到输出的特征；
5、b：构建卷积神经网络, 卷积神经网络结构包括inares block0模块、inaresblock1模块、inares block2模块：
6、b1：将特征t输入到inares block0模块，得到特征；
7、b2：将特征输入到inares block1模块，得到特征；
8、b3：将特征输入到inares block2模块，得到特征；
9、c：将得到的特征通过一个1×1的卷积层和reshape操作，将特征转换成为一个的特征向量序列；
10、d：将得到的特征向量序列加上class token和位置编码再输入到多个堆叠的transformer encoder模块中，得到融合了其他向量特征的class token，再将class token输入到mlp head 分类器，得出最后的表情识别结果。
11、具体实施方式中，inares block0模块包括两个改进的残差块，每个残差块都包含一个inception block0模块、icbam模块以及卷积层，其中卷积核大小为3×3，步长为2，填充为1，卷积层之后是正则化层和relu激活函数层。
12、具体实施方式中，每个inception block0模块包括五个分支，即、、、；
13、第一个分支由最大池化层、卷积层、正则化层和relu激活函数组成，其中最大池化层的卷积核大小为3×3，步长为1，填充为1，卷积层的卷积核大小为1×1，步长为1，填充为0，初始特征图t经过的最大池化层得到特征，特征输入到的卷积层，得到特征；
14、第二个分支由卷积层、正则化层和relu激活函数层组成，其中卷积层的卷积核大小为1×1，步长为1，填充为0，初始特征图t输入到的卷积层，得到特征；
15、第三个分支包括两个卷积层，每个卷积层之后都有一个正则化层以及relu激活函数层，其中第一个卷积层的卷积核大小为1×1，步长为1，填充为0，第二个卷积层的卷积核大小为3×3，步长为1，填充为1，初始特征图t经过的第一个卷积层得到特征，特征输入到的第二个卷积层得到特征；
16、第四个分支包括三个卷积层，每个卷积层之后都有一个正则化层以及relu激活函数层，其中第一个卷积层的卷积核大小为1×1，步长为1，填充为0，第二个卷积层和第三个卷积层的卷积核大小为3×3，步长为1，填充为1，初始特征图t经过的第一个卷积层得到特征，特征输入到的第二个卷积层得到特征，特征输入得到的第三个卷积层得到特征；
17、第五个分支包括四个卷积层，每个卷积层之后都有一个正则化层及relu激活函数层，其中第一个卷积层的卷积核大小为1×1，步长为1，填充为0，第二个卷积层、第三个卷积层和第四个卷积层的卷积核大小都为3×3，步长为1，填充为1；初始特征图t输入到的第一个卷积层得到特征，特征输入到的第二个卷积层得到特征，特征输入到的第三个卷积层得到特征，特征输入到的第四个卷积层得到特征；
18、将特征、、、、在通道维度上拼接得到特征，特征输入到relu激活函数层，得到特征；
19、具体来说，inception block0模块可以表示为：
20、
21、其中，代表relu激活函数，代表卷积核为1×1的卷积操作，代表卷积核为3×3的卷积操作。
22、具体实施方式中，icam模块包括并联的最大池化层和平均池化层、两个并联的一维卷积层、relu激活函数层、sigmoid激活函数层；
23、最大池化层的卷积核大小为输入特征图的长×宽，步长为1，填充为0，平均池化层的卷积核大小为输入特征图的长×宽，步长为1，填充为0，一维卷积层的卷积核大小自适应，即，其中c为输入特征图的通道数，为可调系数，设置为2，b为常数，设置为1，步长为1，填充为(k - 1) /2；
24、isam模块包括最大池化层、平均池化层 、二维卷积层、正则化层、relu激活函数层以及sigmoid激活函数层，其中最大池化层和平均池化层的卷积核大小都为1，步长为1，填充为1，二维卷积层的卷积核大小自适应，即卷积核大小，其中c为输入特征图的通道数，为可调系数，设置为2，b为常数，设置为1，填充为(k - 1) /2；
25、特征输入到最大池化层，得到特征，特征输入到一维卷积层得到特征；特征输入到平均池化层得到特征，特征输入到一维卷积层得到特征，将特征和特征做一个逐元素相加的操作得到特征,特征输入到sigmoid激活函数层得到具有通道注意力的特征图，将特征与特征进行一个逐元素相乘的操作，得到特征；特征分别输入的isam的最大池化层和平均池化层，分别得到特征和特征，将特征和特征在通道维度上进行拼接得到特征，特征输入到二维卷积层得到特征，特征输入到激活函数层得到具有空间注意力的特征图，将特征和特征做一个逐元素相乘操作得到icbam模块最后的输出特征图
26、具体来说，整个icbam模块可以表示为：=，其中代表icam模块，代表isam模块；
27、将特征输入到第一个残差模块的最后一个卷积层，得到特征，将初始特征图t与特征进行一本文档来自技高网...
【技术保护点】
1.一种改进的多尺度注意残差关系感知的表情识别方法，其特征是，包括如下步骤：
2.根据权利要求1所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：InARes Block0模块包括两个改进的残差块，每个残差块都包含一个Inceptionblock0模块、ICBAM模块以及卷积层，其中卷积核大小为3×3，步长为2，填充为1，卷积层之后是正则化层和ReLU激活函数层。
3.根据权利要求2所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：每个Inception block0模块包括五个分支，即、、、；
4.根据权利要求3所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：ICAM模块包括并联的最大池化层和平均池化层、两个并联的一维卷积层、ReLU激活函数层、Sigmoid激活函数层；
5.根据权利要求4所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：将特征输入到InARes Block0模块的第二个残差块，第二个残差块的结构和第一个残差块的结构相同，得到最终的输出特征，整个InARe
6.根据权利要求5所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是，b2包括如下步骤：
7.根据权利要求6所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：b3包括如下步骤：
8.根据权利要求7所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：步骤c包括如下步骤：
9.根据权利要求8所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：步骤d包括如下步骤：
10.一种改进的多尺度注意残差关系感知的表情识别装置，其特征在于，包括：
...【技术特征摘要】
1.一种改进的多尺度注意残差关系感知的表情识别方法，其特征是，包括如下步骤：
2.根据权利要求1所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：inares block0模块包括两个改进的残差块，每个残差块都包含一个inceptionblock0模块、icbam模块以及卷积层，其中卷积核大小为3×3，步长为2，填充为1，卷积层之后是正则化层和relu激活函数层。
3.根据权利要求2所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：每个inception block0模块包括五个分支，即、、、；
4.根据权利要求3所述的一种改进的多尺度注意残差关系感知的表情识别方法，其特征是：icam模块包括并联的最大池化层和平均池化层、两个并联的一维卷积层、relu激活函数层、sigmoid激活函数层；
5.根据权利要求...
【专利技术属性】
技术研发人员：李金宝，张冬环，郭亚红，高天雷，魏诺，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。