一种双支路混合残差连接的表情识别方法技术

本发明专利技术给出一种双支路混合残差连接的表情识别方法。具体包括：以ResNet18为主干特征提取网络，在此基础上设计双支路的多残差连接方式，完善特征提取；其次，综合分析网络深度以及宽度两方面问题，融合深度可分离卷积，构建轻量级的表情识别网络；最后，根据人脸表情信息特点，为了获取更加精准、完善的特征信息，添加自适应特征融合模块ASFF，并对融合后的信息进行分析验证，选取表现最为优越的层级输出，进行最终的表情分类预测。本发明专利技术结合完善的特征提取机制与自适应特征融合方式，并将普通卷积替换为深度可分离卷积，可以解决表情识别在非受控条件下的识别精度、以及模型的轻量化问题。题。

【技术实现步骤摘要】
一种双支路混合残差连接的表情识别方法


[0001]本专利技术涉及图像处理技术，具体来讲，涉及一种双支路混合残差连接的表情识别方法，该方法结合自适应特征融合，构建鲁棒的特征提取网络，以获得更优的人脸表情识别。

技术介绍

[0002]人脸表情在人与人之间的沟通中占据很大的比重。面部表情识别是计算机通过分析人脸信息尝试理解人类情感的一种技术，目前已成为计算机视觉领域的热点话题。随着面部表情研究的发展与深入，表情识别的方法也越来越多样化。要提高表情识别精度、速度以及处理识别中伴有的多种影响因素等问题在一定程度上受到计算机技术发展影响，而随着芯片处理能力的迅猛增长和网络体系结构的精心设计，各个领域的研究开始转向利用深度学习解决各种问题并且也取得了远超先前方法的识别结果 ，因此人脸表情识别技术在各个方面的发展空间也得以有了进一步发展。人脸表情识别任务也逐渐从实验室受控环境转移至具有挑战性的真实世界环境，在深度学习的带动下，神经网络能够自动学习特征信息，逐渐应用于自动人脸表情识别任务。
[0003]作为人脸识别的一个分支，表情识别的研究在心理学以及行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双支路混合残差连接的表情识别方法，其特征在于，引入一种双支路的特征提取网络，采用混合残差连接方式完善特征提取机制，并添加自适应特征融合模块ASFF联合所提取的特征信息，最后进行模型轻量化；包括基础图像数据增强、双支路混合特征提取、自适应特征融合ASFF、模型轻量化以及实验测试五个部分：第一部分包括两个步骤：步骤1，对图片进行随机缩放裁剪，其次对图片数据进行水平翻转，以增加图片数据库；步骤2，使用mixup图片融合以及label_smoothing标签平滑方式对图片数据进一步增强，使得训练所得模型具有更好的泛化能力；第二部分包括两个步骤：步骤3，主支路是对ResNet18结构进行了修改：首先输入图片数据对应为通道数
×
图片高度
×
图片宽度，对应大小为1
×
40
×
40，由于图片尺寸较小，输入数据首先进行基础3
×
3卷积，然后输入各layer层进行特征提取，之后再经过全局平均池化后传入全连接层进行表情的7分类预测；步骤4，次支路首先对原始ResNet18网络的连接方式进行了简单修改：主支路残差连接块不变；从多尺度方面出发，选择使用1
×
1卷积核进行次支路部分的特征提取，能够最大限度保留来自原始输入图片的信息，并对最后的分类结果产生积极影响。具体实施如下：（1）将输入图片数据使用1
×
1卷积核大小从另一支路依次进行下采样，在融合对应残差连接块的特征信息后，作为下一次1
×
1卷积的输入，直至与最后一层残差连接块进行融合；（2）进行混合残差操作后的特征信息不送入主支路网络进行特征提取，而是单独作为尺度1特征输出，在最后连接主干残差块的残差信息；最后将主支路网络以及尺度1支路所得各尺度信息进行特征融合，经由全连接层融合全局特征用于表情分类；第三部分包括两个步骤：步骤5，添加自适应特征融合模块ASFF将特征提取部分获取的大量多尺度表情信息，通过学习权重参数的方式将不同层的特征融合到一起，保证特征信息完善，并在一定程...

【专利技术属性】
技术研发人员：张红英，卢琇雯，韩雪，张奇，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：