基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供了一种基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质，该方法包括以下步骤：从人脸表情图像中选取训练数据集和待识别数据集；构建基于改进ResNeXt网络的人脸表情识别模型；从训练数据集中选取部分人脸表情图像，输入人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型；从待识别数据集中选取部分人脸表情图像，输入训练后人脸表情识别模型，进行人脸表情识别，获得人脸表情分类结果。本发明专利技术不仅能够准确识别分类人脸表情，而且在复杂的现实情况下，使用训练好的ResNeXt网络模型实时识别，可以节省计算时间，实现人脸表情的快速识别。

【技术实现步骤摘要】
基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
本专利技术涉及图像处理
，具体涉及一种基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质。
技术介绍
在人与人之间的交往方式中，除了直接的语言沟通外，人脸表情是一个非常重要的传递个人想法以及感知他人行为信息的传输媒介。虽然面部在人类整体构造当中仅占据极小一部分，但是丰富的五官变化却能展现出人类极其丰富的内心世界，可谓是人类心理的显示屏。因此，表情是人类内心世界最直接的传递媒介，在人类的交往中占据着最重要的地位。理解人类的情感就需要从表情识别出发，人脸表情是人类情感最直接的表达。人脸面部表情识别通过特定的算法提取静态图像或视频中人脸的表情特征，并利用分类器对所提取到的特征进行分类，得到最后的情感判断。现有技术中常采用复杂神经网络作为人脸识别的计算方法，但传统的复杂神经网络存在成本高、训练时间长且识别精度低。
技术实现思路
本专利技术提供了一种基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质，旨在解决传统复杂神经网络计算成本高、训练时间长且识别精度低的技术问题。为了实现上述目的，本专利技术提供了一种基于ResNeXt网络的人脸表情识别方法，所述人脸表情识别方法包括以下步骤：从人脸表情图像中选取训练数据集和待识别数据集；构建基于改进ResNeXt网络的人脸表情识别模型；从所述训练数据集中选取部分人脸表情图像，输入所述人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型；从所述待识别数据集中选取部分人脸表情图像，输入到加载了所述训练后人脸表情识别模型的系统中，进行人脸表情识别，并基于softmax分类器输出人脸表情分类结果。优选地，在所述从人脸表情图像中选取训练数据集和待识别数据集之前，还包括：选用Haar特征和Adaboost级联分类器的组合，筛掉人脸以外区域，获取人脸坐标，检测人脸关键点；根据所述关键点对人脸区域进行截取，获得人脸区域图像；对所述人脸区域图像进行亮度归一化和灰度归一化处理，获得人脸表情预处理图像。优选地，从所述训练数据集中选取部分人脸表情图像，输入所述人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型的步骤包括：对所述训练数据集进行数据增强处理，获得增强训练数据集；对所述人脸表情识别模型进行权值初始化，获得初始化人脸表情识别模型；通过所述增强训练数据集中的部分人脸表情图像对所述初始化人脸表情识别模型进行迭代训练；当完成预先调整的迭代次数时，获得训练后人脸表情识别模型。优选地，所述迭代训练具体包括：输入所述增强训练数据集中的部分人脸表情图像到所述初始化人脸表情识别模型，经过ZeroPadding处理层处理，保存边缘信息，并通过多个卷积核进行卷积处理，获得多个特征图；所述多个特征图通过批归一化层，获得正态分布特征矩阵；所述正态分布特征矩阵进入Relu激活函数层激活并通过最大池化层采样，获得浅层特征图；所述浅层特征图进入所述改进ResNeXt网络，输出表情特征图；所述表情特征图进入全局平均池化层、全连接层向前传播，输出表情分类值；根据所述输出表情分类值与真实表情分类值之间的误差，计算得到分类交叉熵损失函数；根据所述分类交叉熵损失函数，利用随机梯度下降法优化网络，更新所述改进ResNeXt网络的权重参数，得到并保存分类效果最佳的模型权重参数。优选地，所述改进ResNeXt网络包括多个ResNeXt基本模块，所述多个ResNeXt基本模块依次堆叠，每个所述ResNeXt基本模块之间，加入AvgPooling平均池化层，所述AvgPooling平均池化层用于图像特征矩阵降维采样。优选地，每个所述ResNeXt基本模块包括：卷积核、批规范化层、Relu激活函数层、ZeroPadding处理层和分组卷积模块。优选地，对所述训练数据集进行数据增强处理，具体包括：随机缩放、翻转、平移、旋转。此外，为了实现上述目的，本专利技术还提出了一种人脸表情识别设备，所述人脸表情识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人脸表情识别程序，所述人脸表情识别程序被所述处理器执行时实现所述的人脸表情识别方法的步骤。此外，为了实现上述目的，本专利技术还提出了一种存储介质，所述存储介质上存储有人脸表情识别程序，所述人脸表情识别程序被处理器执行时实现所述的人脸表情识别方法的步骤。此外，为了实现上述目的，本专利技术还提出了一种人脸表情识别装置，所述人脸表情识别装置包括：选取模块，用于从人脸表情图像中选取训练数据集和待识别数据集；构建模块，用于构建基于改进ResNeXt网络的人脸表情识别模型；训练模块，用于从所述训练数据集中选取部分人脸表情图像，输入所述人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型；识别模块，用于从所述待识别数据集中选取部分人脸表情图像，输入到加载了所述训练后人脸表情识别模型的系统中，进行人脸表情识别，并基于softmax分类器输出人脸表情分类结果。本专利技术的有益效果：(1)本专利技术针对表情分类任务对ResNeXt网络进行改进，改进后的ResNeXt网络降低了人脸表情识别模型的总参数量，减少了训练时间和模型参数的计算量。(2)本专利技术舍弃了传统人脸表情识别方法中手工提取人脸特征的步骤，采用端到端的训练方法，运用ResNeXt网络模型提取人脸表情特征，提高了人脸表情识别速率。(3)本专利技术利用人脸检测器和提前训练好的ResNeXt网络模型，实现了人脸表情的快速实时识别。附图说明图1是本专利技术具体实施例人脸表情识别流程框图；图2是本专利技术具体实施例CK+原始及其数据增强后的人脸表情图；图3是本专利技术具体实施例Fer2013标准数据集原始及其数据增强后的人脸表情图；图4是本专利技术具体实施例人脸表情识别模型结构图；图5是本专利技术具体实施例ResNeXt基本模块结构图；图6是本专利技术具体实施例平均池化操作示例图；图7是本专利技术具体实施例CK+数据集训练过程精度曲线图；图8是本专利技术具体实施例CK+数据集训练过程损失曲线图；图9是本专利技术具体实施例CK+数据集人脸表情识别结果混淆矩阵图；图10是本专利技术具体实施例Fer2013标准数据集人脸表情识别结果混淆矩阵图；图11是本专利技术具体实施例人脸表情识别模型准确率对比图；图12是本专利技术具体实施例人脸表情识别结果实时效果图；图13是本专利技术具体实施例照片或视频人脸表情识别结果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。本专利技术具体实施例一种基于ResNeXt网络的人脸表情识别方法，本实施例利用ResNeXt网络本文档来自技高网...

【技术保护点】
1.一种基于ResNeXt网络的人脸表情识别方法，其特征在于，所述人脸表情识别方法包括以下步骤：/n从人脸表情图像中选取训练数据集和待识别数据集；/n构建基于改进ResNeXt网络的人脸表情识别模型；/n从所述训练数据集中选取部分人脸表情图像，输入所述人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型；/n从所述待识别数据集中选取部分人脸表情图像，输入到加载了所述训练后人脸表情识别模型的系统中，进行人脸表情识别，并基于softmax分类器输出人脸表情分类结果。/n

【技术特征摘要】
1.一种基于ResNeXt网络的人脸表情识别方法，其特征在于，所述人脸表情识别方法包括以下步骤：
从人脸表情图像中选取训练数据集和待识别数据集；
构建基于改进ResNeXt网络的人脸表情识别模型；
从所述训练数据集中选取部分人脸表情图像，输入所述人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型；
从所述待识别数据集中选取部分人脸表情图像，输入到加载了所述训练后人脸表情识别模型的系统中，进行人脸表情识别，并基于softmax分类器输出人脸表情分类结果。


2.如权利要求1所述的人脸表情识别方法，其特征在于，在所述从人脸表情图像中选取训练数据集和待识别数据集的步骤之前，还包括：
选用Haar特征和Adaboost级联分类器的组合，筛掉人脸以外区域，获取人脸坐标，检测人脸关键点；
根据所述人脸关键点对人脸区域进行截取，获得人脸区域图像；
对所述人脸区域图像进行亮度归一化和灰度归一化处理，获得人脸表情预处理图像。


3.如权利要求1所述的人脸表情识别方法，其特征在于，从所述训练数据集中选取部分人脸表情图像，输入所述人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型的步骤包括：
对所述训练数据集进行数据增强处理，获得增强训练数据集；
对所述人脸表情识别模型进行权值初始化，获得初始化人脸表情识别模型；
通过所述增强训练数据集中的部分人脸表情图像对所述初始化人脸表情识别模型进行迭代训练；
当完成预先调整的迭代次数时，获得训练后人脸表情识别模型。


4.如权利要求3所述的人脸表情识别方法，其特征在于，所述迭代训练具体包括：
输入所述增强训练数据集中的部分人脸表情图像到所述初始化人脸表情识别模型，经过ZeroPadding处理层处理，保存边缘信息，并通过多个卷积核进行卷积处理，获得多个特征图；
所述多个特征图通过批归一化层，获得正态分布特征矩阵；
所述正态分布特征矩阵进入Relu激活函数层激活并通过最大池化层采样，获得浅层特征图；
所述浅层特征图进入所述改进ResNeXt网络，输出表情特征图；
所述表情特征图进入全局平均池化层、全连接层向前传播，...

【专利技术属性】
技术研发人员：吴中天，刘峰，李志华，黄书贤，胡乐，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42