一种改进MobileNet模型的人脸表情识别方法技术

本发明专利技术提出一种改进的MobileNet网络模型，在保留MobileNet轻量级整体结构的情况下，结合人脸表情识别的特点，进一步精简网络，使网络接收48*48的单通道灰度图片。为了减少网络计算量，保留了MobileNetV1模型中的深度可分离卷积层。同时为了解决在深度卷积层后引入非线性激活函数可能会导致信息丢失的问题，本发明专利技术在深度卷积层后直接舍弃非线性激活函数，采用MobileNetV2中提到的线性输出。网络模型使用了线性支持向量机进行人脸表情分类网络模型。最终本发明专利技术网络模型参数较MobileNetV1及MobileNetV2大大减少。本发明专利技术模型在CK+数据集上进行实验，在测试集上实现了较好的识别性能。

【技术实现步骤摘要】
一种改进MobileNet模型的人脸表情识别方法
本专利技术涉及计算机视觉领域中的静态人脸表情识别问题，尤其是涉及一种改进的MobileNet模型的人脸表情识别方法。
技术介绍
人脸表情识别是计算机视觉领域一大热点。人脸表情作为人类情绪的直接表达，是非语言交际的一种形式。目前，人脸表情识别技术应用领域非常广，包括人机交互(HCI)、安保、机器人制造、医疗、通信、汽车等。在人机交互(HCI)、在线远程教育、互动游戏、智能交通等新兴应用中，自动面部表情识别系统是必要的。人脸表情识别的重点在于人脸表情特征的提取。对于人脸表情的提取，目前为止出现了两类特征提取方法。一种是基于传统人为设计的表情特征提取方法，如局部二值模式(LocalBinaryPattern,LBP)、定向梯度直方图(HistogramofOrientedGradients,HOG)、尺度不变特征变换(ScaleInvariantFeatureTransform,SIFT)等，这不仅设计困难，并且难以提取图像的高阶统计特征。另一种是基于深度学习的表情特征提取方法，目前深度神经网络已广泛应用在图像、语音、自然语言处理等各个领域，这充分证明了深度神经网络具有良好的特征提取能力。为了适应不同的应用场景，越来越多的深度神经网络模型被提出，例如AlexNet、VGG-19、GoogleNet和ResNet，这些网络模型被广泛应用于各个领域，当然这些模型也应用在人脸表情特征提取及分类上，也取得了不错的效果。但随着深度神经网络模型的不断发展，其缺点也逐渐显现。网络模型的复杂化，模型参数的大量化的缺点，使得这些模型只能在一些特定的场合应用，移动端和嵌入式设备难以满足其需要的硬件要求。复杂网络模型需要的硬件高要求限制了其应用场景。基于此，Google公司的AndrewG.Howard等人在2017年4月提出了一个可以应用在移动端和嵌入式设备的MobileNet轻量化网络模型。文中提出的使用深度可分离卷积层，在保证精度损失不大的情况下，大大减少了网络的计算量，从而为计算设备“减负”。2018年1月，Google公司提出第二个版本的MobileNet网络模型,称之为MobileNetV2，其网络结构保持了第一版本的轻量化特点，不同的是MobileNetV2使用了倒转的残差(invertedresidual)结构，并且为了减少信息丢失，舍弃在点卷积后使用非线性激活层，而使用线性输出。本专利技术根据人脸表情识别的特点，设计了一个基于输入尺寸为48*48单通道灰度图片的改进MobileNet模型，使其兼顾MobileNet两个版本网络模型的优势，保留了原有MobileNetV1的深度可分离卷积层，为了更好的保留深度卷积后输出的特征，在深度可分离卷积层输出后，去掉用于提取非线性特征的激活层，采用线性输出。大多数的深度学习方法使用Softmax来进行分类。而SVM分类器作为一种具有较强泛化能力的通用学习算法，且SVM分类器对大数据高维特征的分类支持较好，本专利技术使用L2-SVM方法训练深度神经网络进行分类。
技术实现思路
本专利技术提出了一种改进的MobileNet模型的人脸表情识别方法，改进后的模型如表1所示。首先获取输入人脸图像的有效人脸区域部分，最后将其输入改进后的网络模型对人脸表情进行识别。表1改进的MobileNet网络结构本专利技术通过以下技术方案来实现上述目的：(1)对输入人脸表情图像进行人脸检测，获得人脸矩形区域。(2)对(1)中检测的矩形区域裁剪至48*48*1的单通道灰度图。(3)将(2)中的图像送入改进后MobileNet模型进行表情特征提取。(4)根据(3)提取到的表情特征采用SVM分类器进行分类，输出人脸表情识别结果。附图说明图1改进的深度可分离卷积模型；图2人脸表情图像预处理流程图；具体实施方式下面结合附图对本专利技术作进一步说明：改进的MobileNet模型的人脸表情识别具体方法如下：首先按照附图2的人脸表情图像预处理流程对输入人脸表情图像进行预处理。在这个预处理流程中，首先根据输入图片类型判断是否转换成单通道灰度图，若图片已经是单通道灰度图，则直接转到一下步，反之则进行转换。然后对上一步的输出图像进行人脸检测，确定人脸区域。最后根据得到的人脸区域对图像进行裁剪，裁剪至大小为48*48的单通道灰度图，至此预处理流程完毕。然后将预处理后的图像输入按表1所示搭建好的网络模型进行预测。这里每一个深度可分离卷积层采用附图1所示的方式进行处理，其他所有卷积层的输出之后需要经过BN层和ReLU激活层处理。其中深度卷积层部分由于提取的特征是单通道的，如果进行非线性处理，则有可能导致信息丢失，因此为了尽可能保留信息，只经过BN层处理，不加入非线性激活函数，而采用线性输出。在分类器设计方面，由于SVM分类器具有较强的泛化能力以及其对大数据高维特征的分类支持较好，所以本专利技术舍弃了原模型中的Softmax分类器，而采用SVM分类器进行分类，本专利技术采用L2-SVM对目标进行分类。对于一个输入尺寸为48*48*1的单通道人脸表情图像，首先通过一个卷积核大小为3*3，个数为32的标准二维卷积层进行标准卷积，卷积输出尺寸为24*24*32，然后将输出经过10个深度可分离卷积层进行特征提取，每个深度可分离卷积层由一个深度卷积层和一个点卷积层组成，所有深度卷积层的卷积核大小都为3*3，点卷积的卷积核大小都为1*1，深度卷积层的卷积核个数依次为：32,64,128,128,128,128,128,128,128,256；点卷积的卷积核个数依次为：64,128,128,128,128,128,128,128,256,256，然后将经过10个深度可分离卷积层后的输出送入平均池化层，最后将池化层的输出送入全连接层；其中只有标准二维卷积层、第2个深度卷积层、第9个深度卷积层的步长为2，其他所有层的步长均为1；而在除深度卷积层以外的所有的卷积层，卷积操作后都要经过一个归一化层和ReLU激活层来加速网络的收敛速度和增加提取非线性特征的能力，但在深度卷积层则只经过归一化层，不经过激活层；最终形成1*1*256的特征结果。然后使用SVM分类器对提取到的人脸表情特征进行分类。这里的10个深度可分离卷积层组成了本模型最核心的特征提取部分。传统标准卷积既过滤输入又将过滤后的输出进行组合，最终形成一组新的输出。假设输入特征图大小为M*M，通道数为C，标准卷积的卷积核大小为N*N，个数为K,并且假设输出与输入大小一致，则经过标准卷积后输出大小为M*M，输出通道数为K。标准卷积过程，实际上包含了两步——特征过滤和将过滤后的结果组合。在这个过程中，首先输入特征图中的每个通道与对应的卷积核的每个通道进行卷积，卷积的结果是形成了C个M*M的单通道特征图，然后将这C个结果合并，最终形成一个M*M*1的单特征图。由于有K个卷积核，因此输入特征图与所有K个卷积核进行标准卷积后，共有K个M*M*1本文档来自技高网...

【技术保护点】
1.一种改进的MobileNet模型的人脸表情识别方法，其特征在于包括以下步骤：/n(1)在人脸表情识别前对输入人脸表情进行人脸检测，获得人脸矩形区域；/n(2)对(1)中检测的矩形区域裁剪至48*48*1的单通道灰度图；/n(3)将(2)中的图像送入改进后MobileNet模型进行表情特征提取；/n(4)根据(3)提取到的表情特征采用SVM分类器进行分类，得到人脸表情识别结果。/n

【技术特征摘要】
1.一种改进的MobileNet模型的人脸表情识别方法，其特征在于包括以下步骤：
(1)在人脸表情识别前对输入人脸表情进行人脸检测，获得人脸矩形区域；
(2)对(1)中检测的矩形区域裁剪至48*48*1的单通道灰度图；
(3)将(2)中的图像送入改进后MobileNet模型进行表情特征提取；
(4)根据(3)提取到的表情特征采用SVM分类器进行分类，得到人脸表情识别结果。


2.根据权利要求1所述的方法，其特征在于步骤(2)中对步骤(1)中所得矩形区域进行裁剪，大小裁剪至48*48，然后将其保存为8位的单通道灰度图像。


3.根据权利要求1所述的方法，其特征在于步骤(3)中使用改进的MobileNet模型进行表情特征提取，特征提取方法如下：
对于一个输入尺寸为48*48*1的单通道人脸表情图像，首先通过一个卷积核大小为3*3，个数为32的标准二维卷积层进行标准卷积，卷积输出尺寸为24*24*32，然后将输出经过10个深度可分离卷积层进行特征提取，每个深度可分离卷积层由一个深度卷积层和一个点卷积层组成，所有深度卷积层的卷积核大小...

【专利技术属性】
技术研发人员：何小海，王韦祥，周欣，卿粼波，王正勇，吴小强，吴晓红，滕奇志，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51