一种自然环境下多尺度子块聚合的表情识别方法及系统技术方案

本发明专利技术公开了一种自然环境下多尺度子块聚合的表情识别方法及系统。该方法包括：预定义多尺度参数，将表情图片输入到回归卷积神经网络，获取所述表情图片的注意力区域参数；根据所述注意力区域参数对所述表情图片采样子块,为每个尺度的每个子块分别构建堆叠卷积层，利用所述堆叠卷积层提取所有子块的特征；将相同尺度下的所有子块的所述特征进行融合，获取每个尺度对应的单一尺度融合特征向量；提取所述表情图片的全局特征，将所有尺度的所述单一尺度融合特征向量以及所述全局特征进行聚合后输入到全连接层网络，获取表情识别结果。本发明专利技术的表情识别无需依赖于手工选择或人脸特征点，提升了自然条件下表情识别精度。

【技术实现步骤摘要】
一种自然环境下多尺度子块聚合的表情识别方法及系统
本专利技术属于计算机视觉
，更具体地，涉及一种自然环境下多尺度子块聚合的表情识别方法及系统。
技术介绍
表情是人类进行情感交流的重要方式之一。表情识别是实现自然人机交互的关键技术，在计算机视觉和情感计算领域具有广阔的应用前景。现有的表情识别方法对实验室环境下摆拍的表情具有较高的识别精度，但是对于自然环境下自发表情的识别精度仍然不高。其主要原因在于，自然环境下人脸图像的分辨率不一，头部姿态变化较大，这些因素导致特征点提取的精度不高，进而影响特征对齐，最终导致表情识别精度下降；其次，自然环境下表情信息容易受到头部姿态变化、光照变化、局部遮挡等因素的干扰，单一的特征或模型难以同时面对以上挑战。再次，自发表情的表情强度弱于摆拍的极致表情，类间距离更小，更容易被混淆。为了解决上述问题，一个有效的方法是从人脸区域中提取有表情的局部子块区域，通过局部特征和全局特征的融合来识别表情。一方面，局部子块可以很好的抑制局部遮挡问题，对头部姿态变化也具有一定的鲁棒性，并有效克服全局特征存在大量冗余信息的问题；另一方面，全局特征能弥补局部子块表征能力不足的问题，多种特征的融合有利于应对多种复合挑战。但是，现有的方法在提取局部子块时，依赖于手工选择或人脸特征点，无法从人脸图像中自适应搜寻重要的子块，当人脸特征点提取精度不高时，也影响表情识别的精度；在子块尺度的设定上，往往只考虑单一尺度的子块，并且不同子块对表情分类所起的作用相同，因此导致表情识别精度不高。<br>
技术实现思路
针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种自然环境下多尺度子块聚合的表情识别方法及系统，无需依赖于手工选择或人脸特征点，提升了自然条件下的表情识别精度。为实现上述目的，按照本专利技术的第一方面，提供了一种自然环境下多尺度子块聚合的表情识别方法，包括：S1，预定义多尺度参数，将表情图片输入到回归卷积神经网络，获取所述表情图片的注意力区域参数，所述注意力区域参数为每个尺度的每个子块的平移参数；S2，根据所述注意力区域参数及所述多尺度参数对所述表情图片采样子块,为每个尺度的每个子块分别构建堆叠卷积层，利用所述堆叠卷积层提取所有子块的特征；S3，将相同尺度下的所有子块的所述特征进行融合，获取每个尺度对应的单一尺度融合特征向量；S4，提取所述表情图片的全局特征，将所有尺度的所述单一尺度融合特征向量以及所述全局特征进行聚合后输入到全连接层网络，获取表情识别结果。优选地，所述回归卷积神经网络为将VGG网络的最后一个全连接层的神经元个数修改为的卷积神经网络、或将Resnet网络中的最后一个全连接层的神经元个数修改为的卷积神经网络、或将Googlenet网络中的最后一个全连接层的神经元个数修改为的卷积神经网络，其中S表示预设的子块尺度的数量，Ni表示每个尺度下生成子块的数量，D表示生成子块的注意力区域参数的维度，优选地，D＝2。优选地，不同尺度下生成子块的数量保持一致。优选地，每个尺度的每个子块对应的所述堆叠卷积层中的参数独立训练得到，不引入参数共享机制，这样可以确保不同子块能提取最佳的特征。优选地，所述融合是采用直接融合、加权融合或拼接融合中的一种，所述直接融合是指将相同尺度的所有子块的所述特征通过求和融合为一个特征向量，所述加权融合是指相同尺度的所有子块的所述特征通过注意力机制加权求和融合为一个特征向量，所述拼接融合是指将相同尺度的所有子块的所述特征首尾拼接为一个特征向量。优选地，所述步骤S3还包括将每个尺度对应的所述单一尺度融合特征向量输入到全连接层，获得每个所述单一尺度融合特征向量的表情分类结果；采用最小化Softmax交叉熵损失函数Lsf来训练所述回归卷积神经网络、所述堆叠卷积层和所述融合的参数。优选地，在所述交叉熵损失函数Lsf上叠加所述注意区域参数约束损失。优选地，所述聚合是采用直接聚合或加权聚合一种，所述直接聚合是指将所有尺度的所述单一尺度融合特征向量以及所述全局特征进行求和聚合，所述加权聚合是指将所有尺度的所述单一尺度融合特征向量以及所述全局特征通过注意力机制加权求和聚合。优选地，所述加权聚合是采用基于注意力机制的聚合方法，将所述单一尺度融合特征向量以及所述全局特征分别看作一个被融合对象，通过注意力机制获取每个被融合对象的权重，基于注意力机制的加权聚合后的特征向量z采用公式计算获取，其中hj表示所述单一尺度融合特征向量或所述全局特征，αj为所述单一尺度融合特征向量或所述全局特征对应的权重，αj采用注意力机制获取。按照本专利技术的第二方面，提供了一种自然环境下多尺度子块聚合的表情识别系统，包括：多尺度子块生成模块，用于预定义多尺度参数，将表情图片输入到回归卷积神经网络，获取所述表情图片的注意力区域参数，所述注意力区域参数为每个尺度的每个子块的平移参数；特征提取模块，用于根据所述注意力区域参数及所述多尺度参数对所述表情图片采样子块,为每个尺度的每个子块分别构建堆叠卷积层，利用所述堆叠卷积层提取所有子块的特征，特征提取模块还用于提取所述表情图片的全局特征；单一尺度特征融合模块，用于将相同尺度下的所有子块的所述特征进行融合，获取每个尺度对应的单一尺度融合特征向量；多尺度特征聚合与识别模块，用于将所有尺度的所述单一尺度融合特征向量以及所述全局特征进行聚合后输入到全连接层网络，获取表情识别结果。总体而言，本专利技术与现有技术相比，具有有益效果：(1)本专利技术利用注意力机制自动搜索图像中的子块，无需依赖于手工选择或人脸特征点，表情识别精度不受特征点提取精度的影响，提升了自然条件下多尺度子块聚合的表情识别精度。(2)本专利技术提取不同尺度的子块来表征表情，不同尺度的子块体现了不同的粒度，较小的子块表征能力有限，但对局部遮挡和头部姿态变化具有较好抑制作用；较大的子块对局部遮挡和头部姿态变化的鲁棒性不足，但对表情的表征能力更强。通过不同粒度的子块特征融合，能使不同特征相互促进，提高模型整体的识别精度，优于基于单一尺度子块的表情识别方法；(3)通过注意力机制度量不同子块特征的重要程度，通过自适应学习找到不同尺度特征对表情识别起到的作用，进一步优化表情识别的精度。附图说明图1是本专利技术实施例的人脸表情识别方法的流程图；图2是本专利技术图多示例注意力融合多尺度特征与识别示意图；图3是本专利技术实施例的人脸表情识别系统的示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。本专利技术实施例的一种自然环境下多尺度子块聚合的表情识别方法，如图1所示，包括步骤S1至S4。S1：预定义多尺度参数本文档来自技高网...

【技术保护点】
1.一种自然环境下多尺度子块聚合的表情识别方法，其特征在于，包括：/nS1，预定义多尺度参数，将表情图片输入到回归卷积神经网络，获取所述表情图片的注意力区域参数，所述注意力区域参数为每个尺度的每个子块的平移参数；/nS2，根据所述注意力区域参数及所述多尺度参数对所述表情图片采样子块,为每个尺度的每个子块分别构建堆叠卷积层，利用所述堆叠卷积层提取所有子块的特征；/nS3，将相同尺度下的所有子块的所述特征进行融合，获取每个尺度对应的单一尺度融合特征向量；/nS4，提取所述表情图片的全局特征，将所有尺度的所述单一尺度融合特征向量以及所述全局特征进行聚合后输入到全连接层网络，获取表情识别结果。/n

【技术特征摘要】
1.一种自然环境下多尺度子块聚合的表情识别方法，其特征在于，包括：
S1，预定义多尺度参数，将表情图片输入到回归卷积神经网络，获取所述表情图片的注意力区域参数，所述注意力区域参数为每个尺度的每个子块的平移参数；
S2，根据所述注意力区域参数及所述多尺度参数对所述表情图片采样子块,为每个尺度的每个子块分别构建堆叠卷积层，利用所述堆叠卷积层提取所有子块的特征；
S3，将相同尺度下的所有子块的所述特征进行融合，获取每个尺度对应的单一尺度融合特征向量；
S4，提取所述表情图片的全局特征，将所有尺度的所述单一尺度融合特征向量以及所述全局特征进行聚合后输入到全连接层网络，获取表情识别结果。


2.如权利要求1所述的一种自然环境下多尺度子块聚合的表情识别方法，其特征在于，所述回归卷积神经网络为将VGG网络的最后一个全连接层的神经元个数修改为的卷积神经网络、或将Resnet网络中的最后一个全连接层的神经元个数修改为的卷积神经网络、或将Googlenet网络中的最后一个全连接层的神经元个数修改为的卷积神经网络，其中S表示预设的子块尺度的数量，Ni表示每个尺度下生成子块的数量，D表示生成子块的所述注意力区域参数的维度。


3.如权利要求2所述的一种自然环境下多尺度子块聚合的表情识别方法，其特征在于，不同尺度下生成子块的数量保持一致。


4.如权利要求所述1的一种自然环境下多尺度子块聚合的表情识别方法，其特征在于，每个尺度的每个子块对应的所述堆叠卷积层的参数独立训练得到。


5.如权利要求所述1的一种自然环境下多尺度子块聚合的表情识别方法，其特征在于，所述融合是采用直接融合、加权融合或拼接融合中的一种，所述直接融合是指将相同尺度的所有子块的所述特征通过求和融合为一个特征向量，所述加权融合是指相同尺度的所有子块的所述特征通过注意力机制加权求和融合为一个特征向量，所述拼接融合是指将相同尺度的所有子块的所述特征首尾拼接为一个特征向量。


6.如权利要求1所述的一种自然环境下多尺度子块聚合的表情识别方法，其特征在于，所述步骤S3还包括...

【专利技术属性】
技术研发人员：陈靓影，徐如意，张坤，刘乐元，彭世新，
申请(专利权)人：武汉星未来教育科技有限公司，华中师范大学，
类型：发明
国别省市：湖北;42