基于跨特征类型交互与多尺度融合的人脸表情识别方法技术

本发明专利技术公开了基于跨特征类型交互与多尺度融合的人脸表情识别方法，属于图像处理与计算机视觉技术领域，公开了以下步骤：获取待识别表情的人脸的RGB图，并由所述RGB图生成关键点热图；将所述RGB图和所述关键点热图输入至预先训练好的人脸表情识别模型中，得到人脸表情识别结果，在提取RGB图和关键点热图的特征向量时，存在跨特征类型的交互和多尺度融合，使得两种特征类型能够更好地互补，相比特征提取阶段只存在单向交互或不存在交互的深度网络，本发明专利技术的人脸表情识别网络更具有鲁棒性，从而有效地提高了人脸表情的识别性能。从而有效地提高了人脸表情的识别性能。从而有效地提高了人脸表情的识别性能。

【技术实现步骤摘要】
基于跨特征类型交互与多尺度融合的人脸表情识别方法


[0001]本专利技术涉及图像处理与计算机视觉
，特别涉及一种基于跨特征类型交互与多尺度融合的人脸表情识别方法。

技术介绍

[0002]面部表情是人类表达自我情绪的一种最自然、最直接的方式，因此弄清人类情绪状态是许多计算机视觉任务的基本前提，这些任务包括人际交互、驾驶员疲劳监测和医疗保健等。虽然基于RGB的跨特征类型交互与多尺度融合的人脸表情识别方法因深度学习的兴起已取得较大进展，但单一特征类型输入的基于跨特征类型交互与多尺度融合的人脸表情识别方法仍然面临诸多挑战，例如类间相似性、类内差异性、重要性特征提取不足等。
[0003]目前基于深度学习的基于跨特征类型交互与多尺度融合的人脸表情识别方法主要是基于单流网络结构来进行的，所谓的单流网络结构，指的是首先采用一个主干网络提取RGB人脸的特征向量，其次根据由RGB人脸生成的关键点热图，设计一些特定的深度网络模块，生成相应的注意力权重，然后用该注意力权重对RGB人脸的特征向量进行加权细化，最后将细化后的RGB人脸特征向量送入全连接层得到识别结果。
[0004]然而，由人脸的RGB图生成的人脸关键点热图中反映出来的关键点位置不一定完全准确，因此在现有的基于深度学习的基于跨特征类型交互与多尺度融合的人脸表情识别方法中，由关键点热图生成的注意力权重容易受到关键点热图中关键点位置不一定准确的影响，换言之，目前现有基于深度学习的基于跨特征类型交互与多尺度融合的人脸表情识别方法在特征提取阶段或不存在跨特征类型的交互，或只存在从关键点特征得到RGB特征的单方向交互，这就使得深度网络最终提取到的特征容易受到关键点热图不够准确的影响，从而进一步影响最终识别结果的准确性。

技术实现思路

[0005]本专利技术的目的在于克服现有技术中所存在的现有基于深度学习的基于跨特征类型交互与多尺度融合的人脸表情识别方法在特征提取阶段或不存在跨特征类型的交互，或只存在从关键点特征到RGB特征的单向交互，这使得深度网络最终提取到的特征容易受到关键点热图不够准确的影响，从而进一步影响最终识别结果的准确性的不足，提供一种基于跨特征类型交互与多尺度融合的人脸表情识别方法。
[0006]为了实现上述专利技术目的，本专利技术提供了以下技术方案：
[0007]一种基于跨特征类型交互与多尺度融合的人脸表情识别方法，包括以下步骤：
[0008]S1：获取待识别表情的人脸的RGB图，并由所述RGB图生成关键点热图；
[0009]S2：将所述RGB图和所述关键点热图输入至预先训练好的人脸表情识别模型中，得到人脸表情识别结果；
[0010]所述人脸表情识别模型包括：特征提取网络和跨特征类型多尺度融合识别网络；
[0011]所述特征提取网络包括：相互平行的RGB子网络与关键点热图子网络，以及按层级
插入在所述RGB子网络与所述关键点热图子网络之间的多个跨特征类型交互模块；
[0012]所述跨特征类型多尺度融合识别网络包括：跨特征类型多尺度融合模块和全连接层分类识别模块；
[0013]所述跨特征类型交互模块接收所述RGB子网络与所述关键点热图子网络第i层输出的特征向量，并对接收到的所述特征向量进行跨特征类型交互得到跨特征类型交互特征，同时输出所述跨特征类型交互特征至所述RGB子网络与所述关键点热图子网络的第i+1层，然后，将所述RGB子网络与所述关键点热图子网络经过所述跨特征类型交互模块得到的多层跨特征类型交互特征，输出至所述跨特征类型多尺度融合识别模块中，所述跨特征类型融合网络与所述全连接层分类识别网络对接收到的所述跨特征类型交互特征，分别按序处理，最终得到人脸表情识别结果；
[0014]其中，i＝0、1...n；n为所述RGB子网络与关键点热图子网络的网络层级数。
[0015]采用上述技术方案，在提取RGB图和关键点热图的特征向量时，存在跨特征类型的交互和多尺度融合，使得两种特征类型能够更好地互补，相比特征提取阶段只存在单向交互或不存在交互的深度网络，本专利技术的人脸表情识别网络更具有鲁棒性，从而有效地提高了人脸表情的识别性能。
[0016]作为本专利技术的优选方案，所述步骤S2中，对接收到的所述特征向量进行跨特征类型交互包括以下步骤：
[0017]S21：所述跨特征类型交互模块根据接收到的所述特征向量，使用空间注意力机制产生相应的空间注意力权重和偏置，由所述空间注意力权重和所述偏置与所述特征向量生成空间注意力增强的特征向量；
[0018]S22：通过跨特征类型交叉自注意力机制对所述空间注意力增强的特征向量进行全局空间维度的加权，得到下一层跨特征类型交互特征。
[0019]作为本专利技术的优选方案，所述步骤S21中，所述空间注意力权重和所述偏置的生成公式为：
[0020][0021][0022][0023][0024]其中，为所述RGB子网络第i层输出的特征向量；为所述关键点热图子网络第i层输出的特征向量；和分别表示用于RGB特征向量的卷积层和用于关键点特征向量的卷积层；和分别为根据生成的注意力权重和偏置；和分别为根据生成的空间注意力权重和偏置；
[0025]所述生成空间注意力增强的特征向量的增强公式为：
[0026][0027][0028]其中，为对RGB特征向量进行第一次卷积输出的特征向量；为对关键点特
征向量进行第一次卷积输出的特征向量；ReLU为线性修正单元激活函数；为空间注意力增强的特征向量。
[0029]作为本专利技术的优选方案，所述步骤S22中的所述跨特征类型交叉自注意力处理过程为：
[0030][0031][0032][0033][0034]其中，分别为卷积层对RGB特征向量进行卷积后输出的特征向量；分别为卷积层分别为卷积层对关键点特征向量进行卷积后输出的特征向量；进行卷积后输出的特征向量；为跨特征类型交互特征。
[0035]作为本专利技术的优选方案，所述步骤S2中，将所述跨特征类型交互特征输出至所述跨特征类型多尺度融合识别模块中，所述跨特征类型融合网络与所述全连接层分类识别网络对接收到的所述跨特征类型交互特征，分别按序处理，最终得到人脸表情识别结果包括以下步骤：
[0036]S201：所述跨特征融合识别模块对所述RGB子网络与所述关键点热图子网络第0层、第1层、.......、第i层、第i+1层，经过所述跨特征类型交互模块输出的跨特征类型交互特征分别进行最大池化，接着将前i层进行最大池化后的跨特征类型交互特征与第i+1层输出的跨特征类型交互特征在通道上串联起来，再通过一个卷积层后输出多尺度融合特征；
[0037]S202：对接收到的所述RGB图和所述关键点热图的所述多尺度融合特征进行跨特征类型融合得到跨特征类型多尺度融合特征；
[0038]S203：使所述跨特征类型多尺度融合特征依次通过平均池化层、全连接层，最终输出对人脸表情的识别结果。
[0039]作为本专利技术的优选方案，所述步骤S201本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨特征类型交互与多尺度融合的人脸表情识别方法，其特征在于，包括以下步骤：S1：获取待识别表情的人脸的RGB图，并由所述RGB图生成关键点热图；S2：将所述RGB图和所述关键点热图输入至预先训练好的人脸表情识别模型中，得到人脸表情识别结果；所述人脸表情识别模型包括：特征提取网络和跨特征类型多尺度融合识别网络；所述特征提取网络包括：相互平行的RGB子网络与关键点热图子网络，以及按层级插入在所述RGB子网络与所述关键点热图子网络之间的多个跨特征类型交互模块；所述跨特征类型多尺度融合识别网络包括：跨特征类型多尺度融合模块和全连接层分类识别模块；所述跨特征类型交互模块接收所述RGB子网络与所述关键点热图子网络第i层输出的特征向量，并对接收到的所述特征向量进行跨特征类型交互得到跨特征类型交互特征，同时输出所述跨特征类型交互特征至所述RGB子网络与所述关键点热图子网络的第i+1层，然后，将所述RGB子网络与所述关键点热图子网络经过所述跨特征类型交互模块得到的多层跨特征类型交互特征，输出至所述跨特征类型多尺度融合识别模块中，所述跨特征类型融合网络与所述全连接层分类识别网络对接收到的所述跨特征类型交互特征，分别按序处理，最终得到人脸表情识别结果；其中，i＝0、1...n；n为所述RGB子网络与关键点热图子网络的网络层级数。2.根据权利要求1所述的一种基于跨特征类型交互与多尺度融合的人脸表情识别方法，其特征在于，所述步骤S2中，对接收到的所述特征向量进行跨特征类型交互包括以下步骤：S21：所述跨特征类型交互模块根据接收到的所述特征向量，使用空间注意力机制产生相应的空间注意力权重和偏置，由所述空间注意力权重和所述偏置与所述特征向量生成空间注意力增强的特征向量；S22：通过跨特征类型交叉自注意力机制对所述空间注意力增强的特征向量进行全局空间维度的加权，得到下一层跨特征类型交互特征。3.根据权利要求2所述的一种基于跨特征类型交互与多尺度融合的人脸表情识别方法，其特征在于，所述步骤S21中，所述空间注意力权重和所述偏置的生成公式为：法，其特征在于，所述步骤S21中，所述空间注意力权重和所述偏置的生成公式为：法，其特征在于，所述步骤S21中，所述空间注意力权重和所述偏置的生成公式为：法，其特征在于，所述步骤S21中，所述空间注意力权重和所述偏置的生成公式为：其中，为所述RGB子网络第i层输出的特征向量；为所述关键点热图子网络第i层输出的特征向量；和分别表示用于RGB特征向量的卷积层和用于关键点特征向量的卷积层；和分别为根据生成的注意力权重和偏置；和分别为根据生成的空间注意力权重和偏置；
所述生成空间注意力增强的特征向量的增强公式为：所述生成空间注意力增强的特征向量的增强公式为：其中，为对RGB特征向量进行第一次卷积输出的特征向量；为对关键点特征向量进行第一次卷积输出的特征向量；ReLU为线性修正单元激活函数；为空间注意力增强的特征向量。4.根据权利要求2所述的一种基于跨特征类型交互与多尺度融合的人脸表情识别方法，其特征在于，所述步骤S22中的所述跨特征类型交叉自注意力处理过程为：法，其特征在于，所述步骤S22中的所述跨特征类型交叉自注意力处理过程为：法，其特征在于，所述步骤S22中的所述跨特征类型交叉自注意力处理过程为：法，其特征在于，所述步骤S22中的所述跨特征类型交叉自注意力处理过程为：其中，分别为卷积层对RGB特征向量进行卷积后输出的特征向量；分别为卷积层分别为卷积层对关键点特征向量进行卷积后输出的特征向量；为跨特征类型交互特征。5.根据权利要求1所述的一种基于跨特征类型交互与多尺度融合的人脸表情识别方法，其特征在于，所述步骤S2中，将所述跨特征类型交互特征输出至所述跨特征类型多尺度融合识别模块中，所述跨特征类型融合网络与所述全连接层分类识别网络对接收到的所述跨特征类型交互特征，分别按序处理，最终得到人脸表情识别结果包括以下步骤：S201：所述跨特征融合识别模块对所述RGB子网络与所述关键点热图子网络第0层、第1层、.......、第i层、第i+1层，经过所述跨特征类型交互模块输出的跨特征类型交互特征分别进行最大池化，接着将前i层进行最大池化后的跨特征类型交互特征与第i+1层输出的跨特征类型交互特征在通道上串联起来，再通过一个卷积层后输出多尺度融合特征；S202：对接收到的所述RGB图和所述关键点热图的所述多尺度融合特征进行跨特征类型融合得到跨特征类型多尺...

【专利技术属性】
技术研发人员：章超，傅可人，卢诚城，
申请(专利权)人：四川大学，
类型：发明
国别省市：