基于高效注意力网络和师生迭代迁移学习的表情识别方法技术

一种基于高效注意力网络和师生迭代迁移学习的表情识别方法，所述方法构建基于高效注意力网络的轻量化表情识别模型，并利用表情数据集对高效注意力网络进行训练；然后将训练好的网络作为教师网络，将另一个高效注意力网络作为学生网络，利用教师网络输出的软化预测值对学生网络进行训练；将完成训练和测试的学生网络学习到的模型参数迁移至教师网络，重复迭代迁移训练，直至学生网络的识别准确率不再上升，最后利用学生网络对人脸表情进行识别。本发明专利技术在保证模型参数量与计算量水平的同时，增强了轻量网络拟合的能力，并通过师生迭代迁移学习优化软标签及特征信息，大大提升了模型识别精度，能够满足表情识别在边缘侧资源受限设备上的部署需求。备上的部署需求。备上的部署需求。

【技术实现步骤摘要】
基于高效注意力网络和师生迭代迁移学习的表情识别方法


[0001]本专利技术涉及一种基于高效注意力网络和师生迭代迁移学习的表情识别方法，属于信息处理


技术介绍

[0002]伴随着人工智能时代的来临，智能设备已经渗透到了人类生活的方方面面，其中人机交互技术作为人与设备间沟通的桥梁而显得尤为重要。面部表情作为人类的一种跨越种族和文化的非语言性信号，包含了丰富的心理活动信息。自动化的面部表情的识别对于刑事侦查讯问、疲劳驾驶识别和患者情绪监控等领域有着重大应用研究价值。
[0003]著名心理学家Paul Ekman在1978年将人类的表情定义为气愤、厌恶、恐惧、高兴、悲伤、惊讶与中性七种基本类别。传统的表情识别方法依赖于人为设计特征(局部二值模式、方向梯度直方图和主成分分析等)，执行效率高但无法充分适应各种场景的面部数据。近年来，深度学习技术在图像分类领域展现了在端到端学习与高精度识别上的巨大优势，越来越多的研究者们基于深度学习方法对面部表情建模来实现对表情的自动化识别。
[0004]Liu等(Liu K,Zhang M,Pan Z.Facial expression recognition with CNN ensemble[C]//2016international conference on cyberworlds(CW).IEEE,2016:163
‑
166)对多个不同的结构卷积神经网络分别训练，最终进行集成识别表情结果，达到了较高的识别准确率。
[0005]Cai等(Cai J,Meng Z,Khan A S,et al.Probabilistic attribute tree in convolutional neural networks for facial expression recognition[J].arXiv preprint arXiv:1812.07067,2018)提出了一种分层树状结构学习特征的方法，在该树状结构中学习最终的特征，通过概率图加权合并不同树形结点的特征，提高了人脸表情识别的准确率，但模型设计复杂、计算负荷较高。
[0006]Fan等(Fan Y,Li V,Lam J C K.Facial expression recognition with deeply
‑
supervised attention network[J].IEEE transactions on affective computing,2020)基于复杂的VGG/ResNet网络结构构建了深度监督注意力网络，并设计两阶段的训练方案整合种族、性别和年龄等与面部表情的关系，最后结合多尺度信息进行预测达到了一流的识别精度。但这种方法沿用了经典的复杂网络架构，模型参数量和计算量仍较大。
[0007]吕诲等(吕诲,童倩倩,袁志勇.基于人脸分割的复杂环境下表情识别实时框架[J].计算机工程与应用,2020,56(12):134
‑
140)将面部分割的思想加入到图形预处理步骤中，设计了级联的分割网络与分类网络的识别框架，并通过精心调控卷积模块的超参数来精简模型参数量与计算量。但其过于轻量化的模型结构，带来了网络的拟合能力下降问题，保证了框架的推断实时性但未能兼顾识别的准确性。
[0008]综上所述，高精度的深度学习模型具有庞大的体量难以在资源受限的边缘设备(如移动终端与嵌入式终端)上直接部署，需要依靠高性能的服务器对数据进行集中处理。而轻量网络虽然满足边缘侧部署需求但其训练难度大、识别精度较低。此外，万物互联的程
度日益加深，并且人脸表情处于时刻变化之中，需要在海量数据中实时识别每一帧图像的表情，导致了高额的传输成本与隐私泄露风险，因此寻求一种能够满足边缘侧部署要求的实时面部表情识别方法是十分重要的。

技术实现思路

[0009]本专利技术的目的在于针对现有技术之弊端，提供一种基于高效注意力网络和师生迭代迁移学习的表情识别方法，以满足表情识别在边缘侧资源受限设备上的部署需求。
[0010]本专利技术所述问题是以下述技术方案解决的：
[0011]一种基于高效注意力网络和师生迭代迁移学习的表情识别方法，所述方法构建基于高效注意力网络的轻量化表情识别模型，并利用经过预处理及数据增强的表情数据集对高效注意力网络进行训练；然后将训练好的高效注意力网络作为教师网络，；
[0012]上述基于高效注意力网络和师生迭代迁移学习的表情识别方法，表情数据集的预处理方法如下：
[0013]将图像缩放为固定尺寸，统一图像分辨率并将像素值归一化，若原始图像为灰度图像则将其复制三份构成三通道张量。
[0014]上述基于高效注意力网络和师生迭代迁移学习的表情识别方法，对表情数据集进行数据增强的方法如下：
[0015]按照左上、右上、居中、左下和右下位置对图像张量进行面积为90％的窗口采样以及水平翻转，得到数据增强后的表情图像数据集。
[0016]上述基于高效注意力网络和师生迭代迁移学习的表情识别方法，所述基于高效注意力网络的轻量化表情识别模型的构建方法为：
[0017]首先基于MobileNetV2基本卷积模块引入局部通道注意力机制构建高效注意力逆残差块，将高效注意力逆残差块进行堆叠，构成高效注意力网络的主体，然后结合网络首部的二维卷积层将图像特征从空间域向通道域转换，最后由尾部的二维卷积层替代全连接层分类而组成轻量级的全卷积网络。
[0018]上述基于高效注意力网络和师生迭代迁移学习的表情识别方法，所述MobileNetV2基本卷积模块先通过一个卷积核尺寸为1的二维卷积对图像通道域升维，再使用一个卷积核尺寸为3的分组卷积逐通道收集空间特征，最后再通过一个卷积卷积核尺寸为1的二维卷积进行降维并逐点整合各通道的特征信息。
[0019]上述基于高效注意力网络和师生迭代迁移学习的表情识别方法，所述的局部通道注意力机制首先由全局池化层将输入H
×
W
×
C的张量t逐通道整合空间信息为1
×1×
C的一维特征向量，然后根据相邻通道的信息，由一个卷积核尺寸为3的一维卷积结合Sigmoid激活函数学习该通道所需的权重值，最后将该权值与原来的张量t相乘得到缩放后的新特征，其中，H表示特征图高度，W表示特征图宽度，C为特征图的通道数。
[0020]上述基于高效注意力网络和师生迭代迁移学习的表情识别方法，利用经过预处理及数据增强的表情数据集对高效注意力网络进行训练的具体方法为：
[0021]在数据增强后的表情图像数据集上，使用随机梯度下降优化器按照Softmax损失函数l
softmax
训练优化高效注意力网络的输出，计算公式如下：
[0022][0023]其中和分别表示模型在训练所得教师网络参数集θ
teacher
下对输入图像张量的第i和j个表情的预测输出值，label
i
代表图像第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高效注意力网络和师生迭代迁移学习的表情识别方法，其特征是，所述方法构建基于高效注意力网络的轻量化表情识别模型，并利用经过预处理及数据增强的表情数据集对高效注意力网络进行训练；然后将训练好的高效注意力网络作为教师网络，将另一个高效注意力网络作为学生网络，利用教师网络输出的软化预测值对学生网络进行训练；将完成训练和测试的学生网络学习到的模型参数迁移至教师网络，重复迭代迁移训练，直至学生网络的识别准确率不再上升，最后利用学生网络对人脸表情进行识别。2.根据权利要求1所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法，其特征是，表情数据集的预处理方法如下：将图像缩放为固定尺寸，统一图像分辨率并将像素值归一化，若原始图像为灰度图像则将其复制三份构成三通道张量。3.根据权利要求1或2所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法，其特征是，对表情数据集进行数据增强的方法如下：按照左上、右上、居中、左下和右下位置对图像张量进行面积为90％的窗口采样以及水平翻转，得到数据增强后的表情图像数据集。4.根据权利要求3所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法，其特征是，所述基于高效注意力网络的轻量化表情识别模型的构建方法为：首先基于MobileNetV2基本卷积模块引入局部通道注意力机制构建高效注意力逆残差块，将高效注意力逆残差块进行堆叠，构成高效注意力网络的主体，然后结合网络首部的二维卷积层将图像特征从空间域向通道域转换，最后由尾部的二维卷积层替代全连接层分类而组成轻量级的全卷积网络。5.根据权利要求4所述的基于高效注意力网络和师生迭代迁移学习的表情识别方法，其特征是，所述MobileNetV2基本卷积模块先通过一个卷积核尺寸为1的二维卷积对图像通道域升维，再使用一个卷积核尺寸为3的分组卷积逐通道收集空间特征，最后再通过一个卷积卷积核尺寸为1的二维卷积进行降维并逐点整合各通道的特征信息。6.根据权利要求5所述的一种基于高效注意力网络和师生迭代迁移学习的表情识别方法，其特征是，所述的局部通道注意力机制首先由全局池化层将输入H
×
W
×
C的张量t逐通道整合空间信息为1
×1×
C的一维特征向量，然后根据相邻通道的信息，由一个卷积核尺寸为3的一维卷积结合Sigmoid激活函数学习该通道所需的权重值，最后将该权值与原来的张量t...

【专利技术属性】
技术研发人员：孔英会，张帅桐，张珂，戚银城，车辚辚，赵振兵，
申请(专利权)人：华北电力大学保定，
类型：发明
国别省市：