一种基于代价敏感卷积神经网络的人脸表情识别方法技术

本发明专利技术提出了一种基于代价敏感卷积神经网络的人脸表情识别方法。在考虑人脸表情类别错分带来损失的基础上，将错分引起的代价融入模型训练与参数优化全过程中，在模型训练过程中，考虑不同表情类别的错分所造成的不同影响，并根据错分引起的损失大小自适应地调整模型参数，最大限度地降低表情类型错分而引起的损失。本方法解决了现有基于卷积神经网络的人脸表情识别模型中假定或默认不同表情类别错分代价影响均等的问题，在提高表情识别精度的同时，降低因表情错误分类而引起的损失，具有较强的面部情感识别能力。

【技术实现步骤摘要】
一种基于代价敏感卷积神经网络的人脸表情识别方法
本专利技术属于智能人机交互
，涉及一种人脸表情识别方法，具体地说，是指一种采用代价敏感的卷积神经网络训练人脸表情识别模型，并进行人脸表情识别的方法。
技术介绍
表情是人类情感在面部的表达方式，包含了诸多人类情感和心理活动信息，表情识别旨在挖掘人类面部隐藏的情感特征并进行情感分类。目前，表情识别已成为互联网及相关行业关注的热点，尤其是交通安全、营销策略、智能人机交互、情感机器人、智能家居等领域。人脸表情识别主要包含人脸检测、表情特征提取和情感特征分类三个部分，其中，表情特征提取是表情识别的核心，直接影响人脸表情识别的精度。浅层学习算法通过人工方式提取面部情感特征，在一定程度上会损失原有的情感信息，而数据驱动的深度学习算法，通过构建一种深层的非线性网络结构，使其能够自主地从样本数据中学习更具表征能力的面部情感特征，从而提高面部表情识别精度。卷积神经网络(ConvolutionalNeuralNetwork，CNN)是一种包含卷积单元的深度学习方法，受脑神经科学研究的启发，旨在模拟视觉神经皮层中的神经元细胞对收到的视觉信息进行分层处理的过程机理，主要通过卷积层、池化层和全连接层获取二维图像在不同层次的特征。卷积神经网络算法具有局部感知、权值共享和子采样等特点，能够获取观测数据对图像平移、缩放和旋转不变的显著特征，已广泛应用于人脸表情识别领域。然而，现有的卷积神经网络算法在进行人脸表情识别过程中，默认或者假设不同表情类型的错分所造成的损失或引起的代价相同。但是在现实应用场景中，不同表情类别因错分而造成的损失代价大不相同，例如，基于表情识别结果的交通安全应用，希望检测到司机“愤怒”或“焦虑”时，提醒其停车休息，以防交通事故发生；“瞌睡”时提醒其注意驾驶；“平静”时提醒其正常驾驶。在这种请况下，将司机的表情状态从“愤怒”错分为“平静”所造成的损失代价，远远大于从“平静”错分为“愤怒”的情况，前者可能引起人员伤亡，后者可能仅浪费一点时间。可见，不同表情的错分代价均等这一假设与事实相悖。实际上，不同表情错分结果的实际应用所造成的代价不同甚至相差很大，忽略表情错分代价将必然降低人脸表情识别模型的实用性。
技术实现思路
本专利技术针对已有卷积神经网络算法进行人脸表情识别时，忽略不同表情类别错分而引起的代价问题，提出了一种基于代价敏感卷积神经网络的人脸表情识别方法，在考虑人脸表情类别错分带来损失的基础上，将错分引起的代价融入模型训练与参数优化全过程中，最大限度地降低表情类型错分而引起的损失，提高了模型的实用性。本专利技术在累计均方误差的基础上，结合表情类型错分代价矩阵，设计了一种代价敏感的损失函数：其中，k是指训练样本的个数，n是指输出层神经元的个数，class(i)是指第i个训练样本的标签，Costclass(i),j是指将第i个训练样本的class(i)类错分为j类的代价，yij分别是第i个训练样本对应输出层第j个神经元的预测输出值、实际输出值。以优化上式所示的损失函数为目标，构建代价敏感卷积神经网络训练策略，并基于该策略训练人脸表情识别模型，包括以下
技术实现思路
：根据不同表情类别错分所带来的影响，设计错分代价矩阵；构建卷积神经网络模型，确定网络层数和每层的神经元节点个数，并初始化权重矩阵和节点偏置等相关参数；输入训练样本数据，根据卷积神经网络的模型结构和相关参数，进行前向传播，得到训练样本对应的预测输出值，并将其带入代价敏感的损失函数式中，计算得到训练样本的损失代价；根据训练样本的损失代价和反向传播算法，计算卷积神经网络模型中每一层的代价敏感度；根据随机梯度下降算法，计算权重修正值和偏置修正值，更新卷积神经网络模型参数；判断迭代次数或损失代价是否达到阈值，如果均未满足，则继续迭代并计算权重修正值和偏置修正值；否则训练结束，得到优化好的基于代价敏感卷积神经网络的人脸表情识别模型。有益效果本专利技术所提方法解决了现有基于卷积神经网络的人脸表情识别模型中假定或默认不同表情类别错分代价影响均等的问题，在模型训练过程中，考虑不同表情类别的错分所造成的不同影响，并根据错分引起的损失大小自适应地调整模型参数，以便在提高表情识别精度的同时，降低因表情错误分类而引起的损失，具有较强的面部情感识别能力。附图说明图1是卷积神经网络模型；图2是前向传播中的卷积操作过程；图3是前向传播中的池化操作过程；图4是上采样操作过程；图5是实验结果图。具体实施方式下面结合附图及实施例对本专利技术方法作进一步详细说明。一种基于代价敏感卷积神经网络的人脸表情识别方法，包括以下步骤：步骤1：根据不同表情类别错分所带来的影响，设计错分代价矩阵。步骤2：构建卷积神经网络模型，确定网络层数、特征图个数以及卷积核的大小等，并初始化权重矩阵和节点偏置等相关参数。构建如图1所示的卷积神经网络模型，并将所有节点的偏置参数b初始化为0，且在(-1,1)范围内随机初始化权重矩阵ω＝(ωij)，如式(1)所示：其中，ωij为网络前一层第i个特征图与当前层第j个特征图之间的卷积核，nin为输入神经元的个数，nout为输出神经元的个数，rand(0,1)函数用于产生取值范围在(0,1)区间内的随机数。步骤3：输入训练样本数据，根据卷积神经网络的模型结构和相关参数，进行前向传播，得到训练样本对应的预测输出值，并将其带入代价敏感的损失函数式(2)中，计算得到训练样本的损失代价；其中，k是指训练样本的个数，n是指输出层神经元的个数，class(i)是指第i个训练样本的标签，Costclass(i),j是指将第i个训练样本的class(i)类错分为j类的代价，yij分别是第i个训练样本对应输出层第j个神经元的预测输出值、实际输出值。前向传播过程主要涉及卷积操作和池化操作两部分，下面将分别详述。卷积操作：用权重不同的卷积核对输入特征图进行映射，再加上偏置，经过激活函数计算得到卷积层的输出特征图，如图2所示。假设池化层为第l-1层，卷积层为第l层，则卷积操作计算如式(3)所示：其中，i表示池化层(l-1层)特征图的序号，j表示卷积层(l层)特征图的序号，m表示连接到卷积层(l层)第j个特征图的池化层(l-1层)特征图个数，yjl表示卷积层(l层)第j个特征图，表示池化层(l-1层)第i个特征图，bjl表示卷积层(l层)第j个特征图的偏置值，f(·)为激活函数。池化操作：采用均值池化或最大值池化的方式进行特征图缩放，以减小模型参数维数，如图3所示。池化操作过程不改变特征图的个数，即池化层与前驱卷积层之间的特征映射是一一对应的，则池化操作如式(4)所示：其中，和分别表示池化层(l层)和卷积层(l-1层)的第j个特征图；down(g)为池化操作函数。将训练样本的预测值、期望值和相应的错分代价代入式(2)中，计算训练样本的损失代价。步骤4：根据训练样本的损失代价和反向传播算法，计算卷积神经网络模型中每一层的代价敏感度。以最小化错误分类所造成的损失代价为目标，采用反向传播算法，根据训练样本错误分类造成的总体损失代价，依次计算每层网络的代价敏感度，用于更新修正网络权值参数。设第k个样本的实际输出值将不同情感错分类型所引起的损失代价融入CNN方法中，则模型在单个训练样本文档来自技高网...

【技术保护点】
1.一种基于代价敏感卷积神经网络的人脸表情识别方法，其特征在于，包括以下步骤：步骤1：根据不同表情类别错分所带来的影响，设计错分代价矩阵；步骤2：构建卷积神经网络模型，确定网络层数、特征图个数以及卷积核的大小；将所有节点的偏置参数b初始化为0，且在(‑1,1)范围内随机初始化权重矩阵ω＝(ωij)，如式(1)所示：

【技术特征摘要】
2018.04.09 CN 201810310762X1.一种基于代价敏感卷积神经网络的人脸表情识别方法，其特征在于，包括以下步骤：步骤1：根据不同表情类别错分所带来的影响，设计错分代价矩阵；步骤2：构建卷积神经网络模型，确定网络层数、特征图个数以及卷积核的大小；将所有节点的偏置参数b初始化为0，且在(-1,1)范围内随机初始化权重矩阵ω＝(ωij)，如式(1)所示：其中，ωij为网络前一层第i个特征图与当前层第j个特征图之间的卷积核，nin为输入神经元的个数，nout为输出神经元的个数，rand(0,1)函数用于产生取值范围在(0,1)区间内的随机数；步骤3：输入训练样本数据，根据卷积神经网络进行前向传播，得到训练样本对应的预测输出值，并将其带入代价敏感的损失函数式(2)中，计算得到训练样本的损失代价：其中，k是指训练样本的个数，n是指输出层神经元的个数，class(i)是指第i个训练样本的标签，Costclass(i),j是指将第i个训练样本的class(i)类错分为j类的代价，yij分别是第i个训练样本对应输出层第j个神经元的预测输出值、实际输出值；将训练样本的预测值、期望值和相应的错分代价代入式(2)中，计算训练样本的损失代价；步骤4：根据训练样本的损失代价和反向传播算法，计算卷积神经网络模型中每一层的代价敏感度；以最小化错误分类所造成的损失代价为目标，采用反向传播算法，根据训练样本错误分类造成的总体损失代价，依次计算每层网络的代价敏感度，用于更新修正网络权值参数；设第k个样本的实际输出值将不同情感错分类型所引起的损失代价融入CNN方法中，则模型在单个训练样本k上的损失代价为Ek，其计算如式(5)所示：其中表示输出层第j个神经元的实际输出值，表示输出层第j个神经元的期望输出值；步骤5：根据随机梯度下降算法，计算权重修正值和偏置修正值，更新卷积神经网络模型参数；权重的更新公式为：偏置的更新公式为：其中，t是指训练过程的第t次迭代；步骤6：判断迭代次数或损失代价是否达到阈值，如果均未满足，则继续迭代并计算权重修正值和偏置修正值；否则训练结束，得到优化好的基于代价敏感卷积神经网络的人脸表情识别模型。2.如权利要求1所述的一种基于代价敏感卷积神经网络的人脸表情识别方法，其特征在于，所述前向传播过程包括卷积操作和池化操作两部分，具体如下：卷积操作：用权重不同的卷积核对输入特征图进行映射，再加上偏置...

【专利技术属性】
技术研发人员：李慧芳，石峰娟，袁艳，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11