一种基于卷积神经网络的人脸表情识别方法技术

本发明专利技术涉及一种基于卷积神经网络的人脸表情识别方法，属于人脸面部识别技术领域。该方法包括以下步骤：在训练期间，系统接收包括脸部的灰度图像及其各自的表情标签和眼睛中心位置的训练数据，生成新图像以增加数据库大小；对生成新图像进行预处理，包括旋转校正，裁剪，下采样等，归一化后的新图像用于训练卷积神经网络；通过验证，输出获得最佳结果的权重值；在测试期间，系统接收脸部的灰度图像以及其各自的眼睛中心位置，并且通过使用在训练期间学习到的最终网络权重来输出预测表达，判断该图像所属表情。本方法更加准确、快速，且具有可实时操作，对受控环境质量要求小，可跨数据库评估，可用标准计算机进行操作等优点。

【技术实现步骤摘要】
一种基于卷积神经网络的人脸表情识别方法
本专利技术属于人脸面部识别
，涉及一种基于卷积神经网络的人脸表情识别方法。
技术介绍
面部表情识别一直是一个活跃的研究领域，面部表情的识别对于机器学习方法来说却不是一个容易的问题。因为不同的人有不同的方式来表现他们的表情，即使是同一个人的同一个面部表情图像在亮度、背景和姿势等因素上也会有所不同，如果考虑到不同的对象主体(形状、种族等因素的不同)，这个问题的解决将更加复杂。尽管有很多文献对面部表情识别进行了大量的研究，但是很少有研究在进行训练和测试所提出的算法时，能够避免混合对象进行公平的评估。因此，面部表情识别在计算机视觉中仍然是一个挑战性的问题。基于此，本技术方案提出了一个简单的面部表情识别解决方法，它使用卷积神经网络和特定图像预处理的组合。卷积神经网络利用大数据实现了更高的精度，同时，针对目前还没有一个具有足够数据的公共数据集可以用于深度架构的面部表情识别的情况，我们应用一些预处理技术，仅从人脸图像中提取特定的表情特征，并且在训练期间探索样本的呈现顺序，用于评估算法实验。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于卷积神经网络的人脸表情识别方法，采用卷积神经网络和特定图像预处理相结合来进行面部表情的识别，能对面部表情进行更快的解析，且允许在标准计算机上使用。为达到上述目的，本专利技术提供如下技术方案：一种基于卷积神经网络的人脸表情识别方法，采用卷积神经网络和特定图像预处理相结合来进行面部表情的识别，具体包括以下步骤：S1、训练文本准备：在训练期间，系统接收包括脸部的灰度图像及其各自的表情标签和眼睛中心位置的训练数据，生成新图像以增加数据库大小；S2、对生成新图像进行预处理：包括旋转校正，裁剪，下采样和灰度归一化，归一化后的新图像用于训练卷积神经网络；通过验证，输出获得最佳结果的权重值；S3、测试文本：在测试期间，系统接收脸部的灰度图像以及其各自的眼睛中心位置，并且通过使用在训练期间学习到的最终网络权重来输出预测表达，判断该图像所属表情，使用soft-maxWithLoss损失函数替代了Logistic回归损失函数以获得更好的鲁棒性。进一步，在步骤S1中，对训练数据所采用的空间归一化还不足以确保所有的人脸的眼睛不问正确地对准，本方法采用二维高斯分布：在σ＝3和μ＝0像素点，在眼睛中心位置引入随机噪声，通过考虑噪声处理后的眼睛位置的版本来生成合成图像。进一步，在步骤S2中，对生成新图像进行预处理具体包括：旋转校正：数据库中的图像以及真实环境中的图像在旋转、亮度和大小方面都有所不同，即使是相同对象的图像也是如此，这些变化与脸部表情无关，可能会影响系统的准确率；本方法将人脸区域与水平线和中心点通过旋转归一化来进行校正；裁剪：对原始图像中可能会降低分类准确性的背景信息进行裁剪；下采样：执行缩减采样操作以减小网络的图像大小并确保缩放归一化，即所有图像中脸部器官(眼睛、嘴巴、眉毛等)的相同位置；下采样使用线性插值方法，在重新采样之后，保证眼睛中心大致处于相同的位置；灰度归一化：即使在相同表达中同一人的图像中，图像亮度和对比度也可能不同，这种变化增加了问题的复杂性。为了减少这些问题，应用灰度归一化，包括两个过程：第一步执行减法局部对比归一化；第二步应用分歧的局部对比度归一化；在第一步中，每个像素的值从其邻居的高斯加权平均值中减去，在第二步中，每个像素除以其邻域的标准偏差；这两个过程的邻域使用77像素的内核；归一化新图像用于训练卷积神经网络，通过验证，输出获得最佳结果的权重值。进一步，在步骤S3中，搭建一个具有2个卷积层，2个下采样层和1个全连接层的CNN神经网络，第一层个卷积层卷积核为5x5，网络接收32x32灰度图像作为输入，该层之后是一个下采样层，它使用最大池(内核大小为2x2)将图像缩小到其大小的一半；随后，一个新的卷积层用一个7x7内核执行64个卷积到前一层的映射，然后再进行另一个子采样，同样使用一个2x2内核；输出到一个全连接层，该层有256个神经元；最后，网络有六个或七个输出节点，每个输出其置信度的表达式一个；结合在训练期间学习到的最终网络权重输出每个表情所对应的表达式的值，具有最大值的类被用作图像中的表情所对应的表达式。本专利技术的有益效果在于：本方法采用了卷积神经网络和特定图像预处理步骤相结合的面部表情识别算法，在训练数据量少，训练顺序不同的情况下，本方法更加准确，更快速，竞争力更强。且其具有可实时操作，对受控环境质量要求小，可处理样本呈现顺序造成的结果误差，可跨数据库评估，可用标准计算机进行操作等优点。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为本方法的整体结构流程框图；图2为CNN网络结构图。具体实施方式下面结合附图对本专利技术的具体实施例进行详细说明。图1为本方法的整体结构流程框图，如图所示，本专利技术提供的方法具体包括以下步骤：S1、训练文本准备：在训练期间，系统接收包括脸部的灰度图像及其各自的表情标签和眼睛中心位置的训练数据，生成新图像以增加数据库大小；S2、对生成新图像进行预处理：包括旋转校正，裁剪，下采样和灰度归一化，归一化后的新图像用于训练卷积神经网络；通过验证，输出获得最佳结果的权重值；S3、测试文本：在测试期间，系统接收脸部的灰度图像以及其各自的眼睛中心位置，并且通过使用在训练期间学习到的最终网络权重来输出预测表达，判断该图像所属表情，使用soft-maxWithLoss损失函数替代了Logistic回归损失函数以获得更好的鲁棒性。训练文本过程包含以下4个部分：1)使用了包括JA-FFE，CK+和BU-3DFE数据库，进行跨数据库实验，保证实验的一般性。2)对数据库图像进行预处理(旋转，裁剪，下采样，灰度归一化)。3)训练期间学习得到最终网络权重，输出每个表情所对应的表达式的值。4)搭建CNN神经网络，网络接收32x32灰度图像作为输入，结合在训练期间学习到的最终网络权重输出每个表情所对应的表达式的值。具有最大值的类被用作图像中的表情所对应的表达式(即所对应的表情)。测试文本程包含以下3个步骤：1)接收脸部的灰度图像以及各自的眼睛中心位置。2)对数据库图像进行预处理(旋转，裁剪，下采样，灰度归一化)。3)结合训练期间学习得到的最终网络权重来输出预测表达。具体的，在步骤S1中，对训练数据所采用的空间归一化还不足以确保所有的人脸的眼睛不问正确地对准，本方法采用二维高斯分布：在σ＝3和μ＝0像素点，在眼睛中心位置引入随机噪声，通过考虑噪声处理后的眼睛位置的版本来生成合成图像。具体的，在步骤S2中，对生成新图像进行预处理具体包括：旋转校正：数据库中的图像以及真实环境中的图像在旋转、亮度和大小方面都有所不同，即使是相同对象的图像也是如此，这些变化与脸部表情无关，可能会影响系统的准确率；本方法将人脸区域与水平线和中心点通过旋转归一化来进行校正；裁剪：对原始图本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的人脸表情识别方法，其特征在于：采用卷积神经网络和特定图像预处理相结合来进行面部表情的识别，具体包括以下步骤：S1、训练文本准备：在训练期间，系统接收包括脸部的灰度图像及其各自的表情标签和眼睛中心位置的训练数据，生成新图像以增加数据库大小；S2、对生成新图像进行预处理：包括旋转校正，裁剪，下采样和灰度归一化，归一化后的新图像用于训练卷积神经网络；通过验证，输出获得最佳结果的权重值；S3、测试文本：在测试期间，系统接收脸部的灰度图像以及其各自的眼睛中心位置，并且通过使用在训练期间学习到的最终网络权重来输出预测表达，判断该图像所属表情，使用soft‑maxWithLoss损失函数替代了Logistic回归损失函数以获得更好的鲁棒性。

【技术特征摘要】
1.一种基于卷积神经网络的人脸表情识别方法，其特征在于：采用卷积神经网络和特定图像预处理相结合来进行面部表情的识别，具体包括以下步骤：S1、训练文本准备：在训练期间，系统接收包括脸部的灰度图像及其各自的表情标签和眼睛中心位置的训练数据，生成新图像以增加数据库大小；S2、对生成新图像进行预处理：包括旋转校正，裁剪，下采样和灰度归一化，归一化后的新图像用于训练卷积神经网络；通过验证，输出获得最佳结果的权重值；S3、测试文本：在测试期间，系统接收脸部的灰度图像以及其各自的眼睛中心位置，并且通过使用在训练期间学习到的最终网络权重来输出预测表达，判断该图像所属表情，使用soft-maxWithLoss损失函数替代了Logistic回归损失函数以获得更好的鲁棒性。2.根据权利要求1所述的一种基于卷积神经网络的人脸表情识别方法，其特征在于：在步骤S1中，采用二维高斯分布：在σ＝3和μ＝0像素点，在眼睛中心位置引入随机噪声，通过考虑噪声处理后的眼睛位置的版本来生成合成图像。3.根据权利要求2所述的一种基于卷积神经网络的人脸表情识别方法，其特征在于：在步骤S2中，对生成新图像进行预处理具体包括：旋转校正：将人脸区域与水平线和中心点通过旋转归一化来进行校正；裁剪：对原始图像中可能会降低分类准确性的背景信息进行裁...

【专利技术属性】
技术研发人员：李鹏华，陈俊名，陆相羽，易和阳，许清，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50