一种基于卷积神经网络的人脸表情识别方法技术

本发明专利技术公开了一种基于卷积神经网络的人脸表情识别方法，计算机读取人脸表情图像，根据所读入的图片确定图片中人物的表情类别。首先通过骨干卷积神经网络提取所读入的人脸表情，来获取图像特征，然后通过下采样得到浅层特征与深层特征；聚合浅层次特征与深层特征并将他们压缩到一个空间，构建超特征层；把超特征层中有用的语义信息，通过捷径送入更深层的卷积层进行融合计算；所融合的特征通过一个分离通道和位置信息的残差卷积结构来进行参数的更新；最终通过全局池化层输出所识别的表情类别。通过本方法对人脸表情可以进行有效识别，识别准确率达到92.51％，且提高了识别速度和鲁棒性。

A Face Expression Recognition Method Based on Convolutional Neural Network

【技术实现步骤摘要】
一种基于卷积神经网络的人脸表情识别方法
本专利技术涉及图像识别领域，特别是一种基于卷积神经网络的人脸表情识别方法。
技术介绍
随着人工智能技术的发展，人与机器的交互越来越多。机器如果可以读懂人脸表情种所蕴含的信息，将会使交互效果大大提升。利用计算机对人脸表情图像进行分析和识别，提高人机交互的效率有着重要的意义。因此，如何提升面部表情的准确识别率与识别速度，是人脸表情识别技术研究的热点问题。传统表情识别方法是预先搜集确定的人脸表情几何特征，设计相应的标准模板，然后把待识别的图像根据模板尺寸做归一化处理，最后用所有模板与待识别图像注意对比，按照相似度推断识别结果。这种方法的不足之处在于：1、由于人和人表情之间的差异，很难设计出一个鲁棒性很好的方法。2、由于采集人脸表情过程中，人可能处于运动过程中，人脸表情会产生形变和扭曲造成识别率低下。3、传统分类方法识别速度较慢。
技术实现思路
本专利技术提供一种基于卷积神经网络的人脸表情识别方法，以克服现有目标检测技术存在的检测识别准确率低，速度慢，鲁棒性不强的问题。为了达到本专利技术的目的，本专利技术提出的方案如下：一种基于卷积神经网络的人脸表情识别方法，包括如下步骤：步骤1、准备阶段：运用计算机读取人脸表情图像；步骤2、图像预处理阶段：确定骨干网络结构，并根据骨干网络提取人脸图像的关键点信息；步骤3、基于超特征网络的表情特征提取阶段：构建超特征层，融合浅层特征与深层特征，以提高人脸表情模板的鲁棒性；步骤4、基于浅层残差网络的人脸表情特征学习阶段：构建可分离通道与位置信息的残差网络结构，通过该残差网络结构学习人脸表情特征，以提高目标识别准确率；步骤5、全局池化分类阶段：将人脸表情图像输入预训练模型进行识别，使用全局池化层提升识别速度，输出人脸表情类别。进一步的，步骤1具体包括如下步骤：步骤101、数据集的获取，选择用图像采集终端获得人脸表情图像；步骤102、将获取的数据集进行分类，划分为训练集、验证集及测试集；步骤103、读取预训练模型，并读入人脸表情图像目录。进一步的，步骤2中，应用骨干网络VGG16进行特征提取。进一步的，步骤3具体为，将浅层特征层通过池化、直接映射、反卷积的操作与深层特征聚合，并将他们压缩到一个空间，构建一个超特征层；超特征层具有更多有用的语义信息。进一步的，步骤4具体为，把超特征层信息通过包含可分离卷积单元的捷径送入更深层的卷积层进行融合计算，并进行参数更新。进一步的，步骤5具体为，将最后一个卷积层输出的特征参数，转化为对应的人脸表情类型的特征向量，取每个特征向量的平均值输出至Softmax层，通过Softmax层输出表情识别结果。与现有技术相比，本专利技术的有益效果是：1)本专利技术聚合浅层次特征与深层特征，并将他们压缩到一个空间，构建超特征层。把这部分信息通过捷径送入更深层的卷积层进行融合计算，提高了算法的鲁棒性；2)本专利技术使用一个分离通道和位置信息的残差卷积结构学习融合后的人脸表情特征，提高了识别的准确率，达到92.51％以上；3)本专利技术通过全局池化的分类方法，训练的模型结果可识别出7种不同种类的人脸基本表情(生气、厌恶、恐惧、高兴、悲伤、惊讶、中性)，且识别速度提升。附图说明图1为本专利技术实施例的方法流程图；图2识别网络结构图；图3为部分生气表情识别结果图；图4为部分厌恶表情识别结果图；图5为部分恐惧表情识别结果图；图6为部分高兴表情识别结果图；图7为部分悲伤表情识别结果图；图8为部分惊讶表情识别结果图。具体实施方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。本专利技术提供一种基于卷积神经网络的人脸表情识别方法，包括如下步骤：步骤1、准备阶段：运用计算机读取人脸表情图像；步骤2、图像预处理阶段：确定骨干网络结构，并根据骨干网络提取人脸图像的关键点信息；步骤3、基于超特征网络的表情特征提取阶段：构建超特征层，融合浅层特征与深层特征，以提高人脸表情模板的鲁棒性；步骤4、基于浅层残差网络的人脸表情特征学习阶段：构建可分离通道与位置信息的残差网络结构，通过该残差网络结构学习人脸表情特征，以提高目标识别准确率；步骤5、全局池化分类阶段：将人脸表情图像输入预训练模型进行识别，使用全局池化层提升识别速度，输出人脸表情类别。进一步的，步骤1中，运用摄像头终端进行图像采集，不仅运用最简单的方法获得了人脸表情图像，而且可以达到有效扩大数据集的数量，降低数据获取成本的目的；准备阶段具体包括如下步骤：步骤101、数据集的获取，选择用图像采集终端获得人脸表情图像，这种获取数据集的方法简单且方便，而且可以有效的扩充数据集；步骤102、将获取的数据集进行分类，划分为训练集、验证集及测试集；步骤103、读取预训练模型，并读入人脸表情图像目录。进一步的，步骤2中，首先采用基于图像采集终端检测出来的人脸表情图像，运用骨干网络VGG16进行特征提取，根据所述骨干网络VGG16得到提取人脸表情的特征信息。进一步的，步骤3中，设计超特征层将浅层特征层通过池化、直接映射、反卷积的操作与深层特征聚合，并将他们压缩到一个空间，构建一个超特征层。超特征层具有更多有用的语义信息，把这部分信息通过捷径送入更深层的卷积层进行融合计算。进一步的，步骤4中，基于浅层残差网络的人脸表情特征学习方法，以此提高人脸表情识别的准确率。构建可分离通道与位置信息的残差网络结构，通过该残差网络结构学习人脸表情特征，用于根据设计的残差网络恒等映射可以分离通道与位置信息，以获得人脸表情特征，将获取人脸表情特征后的特征向量发送到全局池化单元。进一步的，步骤5中，全局池化分类方法，减少了计算参数，加快了识别速度；采用局平均池化的策略来替代卷传统积神经网络中全连接层的工作，其思想是为最后一个卷积层输出的特征映射分别生成一个特征映射，即不需要进行全连接的工作，而是取每个特征映射的平均值输出至Softmax层。在框架选取方面，选用现在最流行的Keras框架，它支持多种开发语言和操作系统，并且学习社区文档资料健全。Keras是使用学者众多、且简单易上手。实施例：如图1所示，该方法通过以下步骤实现：s1：通过图像采集终端得到人脸表情图像，计算机读入人脸表情图像，根据所述读入的人脸表情图像的特征，放入骨干网络进行特征提取。具体的，将摄像头对准面部表情图像进行数据集获取，将获取到的图像输入骨干网中进行图像特征提取。s2：根据骨干网理论对所述人脸表情图像进行关键点提取，根据骨干网络提取的人脸表情关键点信息，进行特征提取构建超特征层。具体的，本专利技术以VGG16结构作为骨干网络进行对人脸表情特征的提取，VGG16由13个卷积层和3个全连接层，共有16层构成，过程为：经过的卷积本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的人脸表情识别方法，其特征在于，包括如下步骤：步骤1、准备阶段：运用计算机读取人脸表情图像；步骤2、图像预处理阶段：确定骨干网络结构，并根据骨干网络提取人脸图像的关键点信息；步骤3、基于超特征网络的表情特征提取阶段：构建超特征层，融合浅层特征与深层特征，以提高人脸表情模板的鲁棒性；步骤4、基于浅层残差网络的人脸表情特征学习阶段：构建可分离通道与位置信息的残差网络结构，通过该残差网络结构学习人脸表情特征，以提高目标识别准确率；步骤5、全局池化分类阶段：将人脸表情图像输入预训练模型进行识别，使用全局池化层提升识别速度，输出人脸表情类别。

【技术特征摘要】
1.一种基于卷积神经网络的人脸表情识别方法，其特征在于，包括如下步骤：步骤1、准备阶段：运用计算机读取人脸表情图像；步骤2、图像预处理阶段：确定骨干网络结构，并根据骨干网络提取人脸图像的关键点信息；步骤3、基于超特征网络的表情特征提取阶段：构建超特征层，融合浅层特征与深层特征，以提高人脸表情模板的鲁棒性；步骤4、基于浅层残差网络的人脸表情特征学习阶段：构建可分离通道与位置信息的残差网络结构，通过该残差网络结构学习人脸表情特征，以提高目标识别准确率；步骤5、全局池化分类阶段：将人脸表情图像输入预训练模型进行识别，使用全局池化层提升识别速度，输出人脸表情类别。2.根据权利要求1所述基于卷积神经网络的人脸表情识别方法，其特征在于，步骤1具体包括如下步骤：步骤101、数据集的获取，选择用图像采集终端获得人脸表情图像；步骤102、将获取的数据集进行分类，划分为训练集、验证集及测试集；步骤1...

【专利技术属性】
技术研发人员：王鹏，李雪，安庆，黄宝洋，刘莉娜，陈昱含，吴娇，贺咪咪，李嘉伦，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：陕西,61