一种基于稀疏图的人脸表情识别方法技术

本发明专利技术涉及一种基于稀疏图的人脸表情识别方法，属于图像识别技术领域。该方法包括以下步骤：获取人脸表情的公开数据集，对所述人脸表情的公开数据集进行奇异值分解后得到人脸表情稀疏图；采用SSD算法对所述人脸表情稀疏图进行识别得到人脸识别结果；将所述人脸识别结果划分成训练集、测试集和验证集，并将所述训练集输入VGG神经网络进行人脸表情分类，得到训练后的VGG神经网络模型，再将所述测试集输入训练后的所述VGG神经网络模型进行准确率验证；将待识别人脸照片输入通过准确率验证的VGG神经网络模型进行在线人脸表情分类识别。本发明专利技术解决了目前对人类情绪与情感的识别研究中存在实验效率低及时间成本高的问题。

【技术实现步骤摘要】
一种基于稀疏图的人脸表情识别方法
本专利技术涉及图像识别
，尤其涉及一种基于稀疏图的人脸表情识别方法。
技术介绍
计算机对人类情绪与情感的识别研究已经成为了一个研究的热点。基于图像情感分析的深度学习模型算法变得越来越重要。然而，随着对深度学习模型的深入研究，发现其结构和算法的发展很大程度上受限于GPU的有效性，主要原因是缺乏稀疏操作。稀疏运算可以减少计算量，并且使用较少的GPU来运行神经网络。稀疏性使得训练大型神经网络成为可能。在相同的参数和计算量的前提下，利用稀疏性可以训练出比其它神经网络更广、更深的神经网络。因此，稀疏表示在深度学习中的应用是非常重要的。目前对人类情绪与情感的识别研究中存在实验效率低及时间成本高的问题。
技术实现思路
鉴于上述的分析，本专利技术旨在提供一种基于稀疏图的人脸表情识别方法，以解决目前对人类情绪与情感的识别研究中存在实验效率低及时间成本高的问题。本专利技术的目的主要是通过以下技术方案实现的：本专利技术提供了一种基于稀疏图的人脸表情识别方法，包括以下步骤：获取人脸表情的公开数据集，对所述人脸表情的公开数据集进行奇异值分解后得到人脸表情稀疏图；采用SSD算法对所述人脸表情稀疏图进行识别得到人脸识别结果；将所述人脸识别结果划分成训练集、测试集和验证集，并将所述训练集输入VGG神经网络进行人脸表情分类，得到训练后的VGG神经网络模型，再将所述测试集输入训练后的所述VGG神经网络模型进行准确率验证；将待识别人脸照片输入通过准确率验证的VGG神经网络模型进行在线人脸表情分类识别。进一步地，对所述人脸表情的公开数据集进行奇异值分解后得到人脸表情稀疏图包括：读取所述人脸表情的公开数据集后从中选取图片，根据图片尺寸大小和图片分别率一一读取图片的像素点，并逐一将像素点复制得到像素点数据；其中，所述图片尺寸大小包括图片的长和宽；根据所述图片的长和宽建立int矩阵，并逐一将像素点对应的像素值存储在int矩阵，并对存储完成后的int矩阵进行奇异值分解得到奇异值int矩阵；将所述奇异值int矩阵翻转为奇异值array矩阵，并根据从所述奇异值array矩阵中选择的前k个奇异值得到人脸表情稀疏图。进一步地，将像素点对应的像素值存储在int矩阵A，并对存储完成后的int矩阵A进行奇异值分解得到奇异值int矩阵U和V，其公式如下：AU∑VT；其中，∑只在主对角线上有特征值，U和V为单位正交的奇异值矩阵，UUT＝I和VVT＝I。进一步地，采用SSD算法对所述人脸表情稀疏图进行识别得到人脸识别结果，具体包括：根据特征值对所述人脸表情稀疏图抽取出多层特征图，并在每层特征图的每个像素点生成默认边界框；将每层特征图对应生成的所有默认边界框集合后进行非极大值抑制，并消除包括交叉重复在内的冗余边界框后，找到人脸识别预测到的最佳位置，得到人脸识别结果。进一步地，根据特征值对所述人脸表情稀疏图抽取出多层特征图包括：通过SSD算法将VGG神经网络的最后两个全连接层合并后额外增加四层网络生成卷积层，所述卷积层根据特征值进行特征图提取，利用每个卷积层不同大小的特征图构建了一个特征金字塔结构模型；所述人脸表情稀疏图通过所述特征金字塔结构模型后提取出多层特征图。进一步地，在每层特征图的每个像素点生成默认边界框包括：在每层特征图中先设置多个像素点对应的多个先验框位置；对所述多个先验框位置进行逐一检测得到一组检测值，所述检测值包括边界框类别的置信度和边界框位置的预测值；将所述边界框位置的预测值和所述先验框位置转换为边界框的真实位置，生成默认边界框。进一步地，所述边界框类别的置信度包括7个普通边界框类别的置信度值和1个特殊边界框类别的置信度值；所述边界框类别置信度表示边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；所述普通边界框类别的置信度值表示该边界框中的目标属于7分类中某一类的可能性大小以及边界框匹配目标的好坏；所述特殊边界框类别的置信度值表示该边界框中的目标属于背景的可能性大小以及边界框匹配目标的好坏。进一步地，将所述边界框位置的预测值l和所述先验框位置d转换为边界框的真实位置b，其公式如下：bcx＝dwlcx+dcx,bcy＝dylcy+dcy；bw＝dw.exp(lw),bh＝dh.exp(lh)；其中，b＝(bcx,bcy,bw,bh)为边界框的真实位置，d＝(dcx,dcy,dw,dh)为先验框位置，l＝(lcx,lcy,lw,lh)为边界框位置的预测值，(cx,cy,w,h)表示边界框位置的变量，分别表示边界框的中心坐标以及宽和高。进一步地，将所述人脸识别结果划分成训练集、测试集和验证集的拆分比例为8:1:1；其中，所述验证集为可选集，用于判断训练后的VGG神经网络模型是否过拟合；当验证集输入到训练后的所述VGG神经网络模型得到的验证集的准确率和损失，与训练集的准确率和损失一致性超出预期，则判为过拟合。进一步地，所述获取人脸表情的公开数据集取自fer2013面部表情数据库，该数据库包括7种表情：愤怒、厌恶、恐惧、高兴、悲伤、惊讶和中性，分别标记为0-6个数字；采用SSD算法进行识别预测时，所述7个边界框类别对应所述7种表情。本技术方案有益效果如下：本专利技术公开了一种基于稀疏图的人脸表情识别方法，采用奇异值分解与SSD算法相结合的图像处理方式，将图像稀疏化，去掉部分图像噪声，有效解决了图像训练过程过拟合的问题；随后将稀疏化的图像放到VGG神经网络实现了人脸表情识别的目的，同时解决了图像在深度学习训练的时间过长的问题，该方法可运用到以后人脸表情识别的训练过程中。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件。图1为本专利技术实施例的一种基于稀疏图的人脸表情识别方法流程图；图2为本专利技术实施例的SSD结构图；图3为本专利技术实施例的基于稀疏图的人脸表情识别实验流程图；图4为本专利技术实施例的实验数据总分布图；图5为本专利技术实施例的实验数据各种类分布图；图6为本专利技术实施例的奇异值分解示例图；图7为本专利技术实施例的奇异值的数值变化图；图8为本专利技术实施例的奇异值之和的变化图；图9为本专利技术实施例的实验结果统计图；图10为本专利技术实施例的VGGNet的准确率和损失图；图11为本专利技术实施例的L1-VGGNet的准确率和损失图；图12为本专利技术实施例的SL-VGGNet的准确率和损失图；图13为本专利技术实施例的SVGGNet的准确率和损失图；...

【技术保护点】
1.一种基于稀疏图的人脸表情识别方法，其特征在于，包括以下步骤：/n获取人脸表情的公开数据集，对所述人脸表情的公开数据集进行奇异值分解后得到人脸表情稀疏图；/n采用SSD算法对所述人脸表情稀疏图进行识别得到人脸识别结果；/n将所述人脸识别结果划分成训练集、测试集和验证集，并将所述训练集输入VGG神经网络进行人脸表情分类，得到训练后的VGG神经网络模型，再将所述测试集输入训练后的所述VGG神经网络模型进行准确率验证；/n将待识别人脸照片输入通过准确率验证的VGG神经网络模型进行在线人脸表情分类识别。/n

【技术特征摘要】
1.一种基于稀疏图的人脸表情识别方法，其特征在于，包括以下步骤：
获取人脸表情的公开数据集，对所述人脸表情的公开数据集进行奇异值分解后得到人脸表情稀疏图；
采用SSD算法对所述人脸表情稀疏图进行识别得到人脸识别结果；
将所述人脸识别结果划分成训练集、测试集和验证集，并将所述训练集输入VGG神经网络进行人脸表情分类，得到训练后的VGG神经网络模型，再将所述测试集输入训练后的所述VGG神经网络模型进行准确率验证；
将待识别人脸照片输入通过准确率验证的VGG神经网络模型进行在线人脸表情分类识别。


2.根据权利要求1所述的方法，其特征在于，对所述人脸表情的公开数据集进行奇异值分解后得到人脸表情稀疏图包括：
读取所述人脸表情的公开数据集后从中选取图片，根据图片尺寸大小和图片分别率一一读取图片的像素点，并逐一将像素点复制得到像素点数据；其中，所述图片尺寸大小包括图片的长和宽；
根据所述图片的长和宽建立int矩阵，并逐一将像素点对应的像素值存储在int矩阵，并对存储完成后的int矩阵进行奇异值分解得到奇异值int矩阵；
将所述奇异值int矩阵翻转为奇异值array矩阵，并根据从所述奇异值array矩阵中选择的前k个奇异值得到人脸表情稀疏图。


3.根据权利要求2所述的方法，其特征在于，将像素点对应的像素值存储在int矩阵A，并对存储完成后的int矩阵A进行奇异值分解得到奇异值int矩阵U和V，其公式如下：A＝U∑VT；
其中，∑只在主对角线上有特征值，U和V为单位正交的奇异值矩阵，UUT＝I和VVT＝I。


4.根据权利要求3所述的方法，其特征在于，采用SSD算法对所述人脸表情稀疏图进行识别得到人脸识别结果，具体包括：
根据特征值对所述人脸表情稀疏图抽取出多层特征图，并在每层特征图的每个像素点生成默认边界框；
将每层特征图对应生成的所有默认边界框集合后进行非极大值抑制，并消除包括交叉重复在内的冗余边界框后，找到人脸识别预测到的最佳位置，得到人脸识别结果。


5.根据权利要求4所述的方法，其特征在于，根据特征值对所述人脸表情稀疏图抽取出多层特征图包括：
通过SSD算法将VGG神经网络的最后两个全连接层合并后额外增加四层网络生成卷积层，所述卷积层根据特征值进行特征图提取，利用每个卷积层不同大小的特征图构建了...

【专利技术属性】
技术研发人员：靳晓芳，徐颖，沙子意，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：北京;11