基于局部特征和全局特征的表情识别方法技术

本发明专利技术公开了一种基于局部特征和全局特征的表情识别方法，包括：获取人脸表情图像数据集；构建基于局部特征和全局特征的人脸表情识别模型，包括多尺度局部特征提取融合网络以及vit网络；基于训练好的人脸表情识别模型获取待测的人脸表情图像的表情识别结果。本发明专利技术不仅利用多尺度局部特征提取融合网络扩大感受野的特性，提取人脸图像中不同尺度的局部特征，减小无用信息的干扰，增强有用信息，将这些多尺度局部特征通过改进的注意力机制融合，通过vit网络，利用其能够学习全局特征的优势，将多尺度局部特征提取融合网络所得局部特征作为原始特征图，输入vit中进一步学习全局特征，输出最终表情分类结果，有效提高人脸表情识别的准确率。的准确率。的准确率。

【技术实现步骤摘要】
基于局部特征和全局特征的表情识别方法


[0001]本专利技术属于图像处理与模式识别
，涉及一种人脸表情识别方法，具体是一种基于局部特征和全局特征的表情识别方法，可用于人机交互、智慧教育、情感激励等领域。

技术介绍

[0002]随着时代的发展，出现了两大类用于识别面部表情的方法，传统的面部表情识别方法和基于深度学习的面部表情识别方法。传统的面部表情识别方法的识别过程大致分为三个步骤，首先进行面部表情图像预处理，其次对面部表情的特征进行提取，最后训练分类器模型进行面部表情分类识别。相较于传统的面部表情识别方法，基于深度学习的面部表情识别方法可以自动提取特征，同时进行特征提取与分类识别两部分，实现了图像到图像的识别模式。因此，搭建合适的深度学习网络模型是这一类方法研究的重点。
[0003]大多数使用传统的方法进行面部表情识别的研究者都将特征提取作为他们研究的重点，找到一种性能良好的特征将大幅度提高面部表情的识别率。因此这里将按照特征提取的方法分类介绍面部表情识别的研究现状。
[0004]基于全局的特征提取方法：这种方法首先提取整张人脸上的所有特征，之后在尽量保留人脸关键信息的基础上去除一些重复特征以及无用特征，也就是降维操作，最后就获得了可以使用的特征。其代表性方法为主成分分析(PCA)方法，但是这种方法存在一些缺点，比如计算量大、识别率低等。
[0005]基于局部的特征提取方法：在这类特征提取的方法中，研究者多数使用提取纹理特征的方法来提取面部表情的特征，常用的方法有局部二值模式(LBP)、方向梯度直方图(HOG)、Gabor变换等。传统的LBP算子在提取细节丰富的面部表情图像特征时，容易丢失部分细节，造成最终识别率的下降。
[0006]虽然表情需要基于人的面部表达和显示，但这并不代表人的面部内所有信息都是有用信息，表情信息并非均匀地分布在整张人脸上。目前，在该方面，学术界普遍认为，在面部表情识别分类时，人脸内可用于识别的可用信息较多地集中于眼框、眉毛、鼻子、嘴巴的外轮廓等部位，往往通过观察这几个部位便能判断表情类别，而额头、脸颊等部分以及皮肤颜色等方面并无多少可用信息，甚至面部的一些生理缺陷如斑点痤疮会形成噪声，不利于神经网络模型的鲁棒性和分类结果。目前所流行的主要神经网络模型多是卷积神经网络，其通过固定大小的卷积核的窗口滑动的方式提取信息、聚合特征，但因为卷积核的尺寸相对较小，使得卷积的感受野较小，提取的特征多是局部特征，容易受到噪声的干扰，使无用信息在模型训练时被过度学习。
[0007]基于上述问题，目前，国内外一些研究人员提出，将传统机器学习和深度学习结合的解决方式。在表情识别时，对图像预先使用传统机器学习的方法手动提取特征，再输入神经网络模型中。这种方法虽然能够较好地避免无用信息噪声的干扰，提高识别率，甚至是一定程度上降低神经网络的计算量，但是这种方法失去了深度学习的意义，在使用时，都需事
卷积操作后得到第三个分支输出Y3，子特征图X4、输出Y1、输出Y2和输出Y3相加后经过7
×
7卷积操作后得到第四个分支输出Y4，将输出Y1、输出Y2、输出Y3和输出Y4经过1
×
1卷积操作后拼接为输出Z，输出Z与特征图X相加后作为跨分支残差块的输出。
[0026]作为本专利技术进一步改进的技术方案，所述的混合注意力特征融合模块的计算过程为：
[0027]将特征图N分别输入空间域注意力模块和通道域注意力模块，将得到的结果逐点相乘后，经过sigmoid激活函数后，与特征图N相乘，得到混合注意力特征融合模块的输出M；
[0028]公式如下：
[0029][0030]其中SA(N)表示将特征图N输入空间域注意力模块的输出结果，CA(N)表示将特征图N输入通道域注意力模块的输出结果，σ(
·
)表示Sigmoid激活，表示逐点相乘；
[0031]通道域注意力模块的计算过程为：
[0032]CA(N)＝σ(f(GMp(N))+f(GAp(N)))；
[0033]其中，GMp(N)表示对特征图N进行全局最大池化,GAp(N)表示对特征图N进行全局平均池化，f(
·
)表示1d卷积；
[0034]空间域注意力模块的计算过程为：
[0035]SA(N)＝σ(f7×7([AvgPool(N)；MaxPool(N)]))；
[0036]其中，AvgPool(N)表示对特征图N在通道维度上进行平均池化,MaxPool(N)表示对特征图N在通道维度上进行最大池化，[AvgPool(N)；MaxPool(N)]表示将AvgPool(N)产生的特征图与MaxPool(N)产生的特征图进行拼接，f7×7表示7
×
7卷积层。
[0037]作为本专利技术进一步改进的技术方案，所述的步骤2还包括：
[0038]搭建vit网络，vit网络包括图像嵌入模块、类别嵌入模块、6个Transformer编码器和多层感知机分类层。
[0039]作为本专利技术进一步改进的技术方案，所述的步骤3包括：
[0040]将人脸表情图像数据集按照4：1的比例划分训练集和测试集；
[0041]利用训练集先对多尺度局部特征提取融合网络进行训练，训练完毕后将多尺度局部特征提取融合网络内的权重参数冻结，与vit网络级联组成完整的基于局部特征和全局特征的人脸表情识别模型后，再对人脸表情识别模型内vit网络进行训练。
[0042]本专利技术的有益效果为：
[0043]本专利技术解决了现有技术中存在的因为在面部表情识别时其他不重要特征的无多少可用信息与生理缺陷形成的噪声，不利于神经网络模型的鲁棒性和分类结果和因为流行的神经网络模型多是卷积神经网络，而卷积核的尺寸相对较小，使得卷积的感受野较小，提取的特征多是局部特征，容易受到噪声的干扰，使无用信息在模型训练时被过度学习的技术问题。
[0044]本专利技术提出的一种基于局部特征和全局特征的表情识别方法，不仅利用改进的res2net残差模块扩大感受野的特性，提取人脸图像中不同尺度的局部特征，以减小无用信息的干扰，增强有用信息，并将这些多尺度局部特征通过改进的注意力机制融合，还通过搭建一个vit(visual transformer,视觉编码器)网络，利用其能够学习全局特征的优势，将多尺度局部特征提取融合网络所得局部特征作为原始特征图，输入vit中进一步学习全局
特征，并输出最终的表情分类结果，从而一定程度上缓解vit神经网络模型对输入图像的大小固定，以及对数据量要求过高的数据饥渴问题，进而能有效提高人脸表情识别的准确率，可用于人机交互、智慧教育、情感激励等领域。
附图说明
[0045]图1是本专利技术的实现流程图。
[0046]图2是本专利技术的多尺度局部特征提取融合网络模型框架图。
[0047]图3是本专利技术的跨分支残差块示意图。
[0048]图4是本专利技术的混合注意力特征融合模块结构图。...

【技术保护点】

【技术特征摘要】
1.一种基于局部特征和全局特征的表情识别方法，其特征在于，包括：步骤1：获取人脸表情图像数据集；步骤2：构建基于局部特征和全局特征的人脸表情识别模型，基于局部特征和全局特征的人脸表情识别模型包括多尺度局部特征提取融合网络以及vit网络；步骤3：采用步骤1中的人脸表情图像数据集训练人脸表情识别模型；步骤4：基于训练好的人脸表情识别模型获取待测的人脸表情图像的表情识别结果。2.根据权利要求1所述的基于局部特征和全局特征的表情识别方法，其特征在于，所述的步骤1具体为：获取多张人脸表情图像，并标注出每张人脸表情图像的表情类别，将人脸表情图像以及其对应的表情类别作为初始人脸表情图像数据集；对初始人脸表情图像数据集分别进行数据增强，获得增强后的人脸表情图像数据集。3.根据权利要求1所述的基于局部特征和全局特征的表情识别方法，其特征在于，所述的步骤2包括：搭建基于残差块和注意力机制的多尺度局部特征提取融合网络；多尺度局部特征提取融合网络依次包括卷积块、多个残差块和后处理块；经卷积块操作后的特征图输送至残差块，经某一残差块处理后的特征图与经该残差块处理前的特征图相加后输送至下一个残差块，经最后一个残差块处理后的特征图与经该残差块处理前的特征图相加后输送至后处理块；所述卷积块依次包括卷积层、批次归一化层、ReLu激活层和最大池化层；所述残差块包括跨分支残差块和混合注意力特征融合模块；所述后处理块包括双线性插值层、卷积层、批次归一化层和LeakyReLu激活层。4.根据权利要求3所述的基于局部特征和全局特征的表情识别方法，其特征在于，所述的跨分支残差块的计算过程为：特征图X通过1
×
1卷积操作后分为子特征图X1、子特征图X2、子特征图X3和子特征图X4，子特征图X1经过1
×
1卷积操作后得到第一个分支输出Y1，子特征图X2和输出Y1相加后经过3
×
3卷积操作后得到第二个分支输出Y2，子特征图X3、输出Y1和输出Y2相加后经过5
×
5卷积操作后得到第三个分支输出Y3，子特征图X4、输出Y1、输出Y2和输出Y3相加后经过7
×
7卷积操作后得到第四个...

【专利技术属性】
技术研发人员：郁舒兰，储东东，凌禹杭，赵扬，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：