一种集成卷积神经网络人脸情感识别方法技术

本发明专利技术公开了一种集成卷积神经网络人脸情感识别方法，主要步骤包括以下步骤：步骤1、利用每层参数递减，限定参数范围的方法随机生成大量的CNN卷积神经网络模型；步骤2、对每一个随机生成的CNN卷积神经网络模型进行训练，得到一个分类器；步骤3、计算每个分类器的在验证集上面的准确率；步骤4、选择准确率最高的m个分类器；步骤5、利用贝叶斯融合算法将m个分类器进行融合。本发明专利技术具有在实际的预测应用能够并行执行，不会损耗预测的时间等优点。

【技术实现步骤摘要】

本专利技术涉及图像处理、情感计算和模式识别技术，尤其涉及一种集成卷积神经网络人脸情感识别方法，该集成卷积神经网络人脸情感识别方法是一种情感识别贝叶斯融合Softmax的输出算法。
技术介绍
随着信息技术的不断发展，社会发展对情感计算提出了更高的要求，有广泛的应用价值。例如在人机交互方面，一个拥有情感能力的计算机能够对人类情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，采用情感计算技术探测驾驶司机的精力是否集中，感受到的压力水平等，并做出相对反应。此外，情感计算还能应用在机器人、智能玩具、游戏、电子商务等相关产业中，以构筑更加拟人化的风格和更加逼真的场景。情感也反映了人类的心理健康情况，情感计算的应用可以有效地帮助人们避免不良情绪，保持乐观健康的心理。目前深度学习在很多地方都能够很好地解决问题，本方法就是涉及到CNN卷积神经网络的集成识别人脸表情。虽然深度学习在很多地方能够很好地解决问题，但是在选择参数的时候特别耗费精力，往往要通过大量的试错得到的经验来选取参数，这个过程会耗费巨大的时间。另外CNN深度学习在选取不同的模型参数，得到的结果是不一样。很多时候会有多种相对较好的模型。如果只选择最好的模型，那么也就放弃了其他一些相对还不错的模型，这也是一种浪费。直接对模型预测结果进行投票的结果往往很不理想，因为每个模型的相似度无法把握。直接进行投票效果不佳。如果利用模型在验证集上面的结果进行投票，对于测试集的效果也可能会不佳，利用这种方式集成模型的预测结果往往不够稳定。CNN在末层有一个Softmax分类器，其在预测的时候会对每个类别都有一个可能性。正常情况下我们是直接选取可能性最大的那个类别作为分类的最终结果。这里面每个类别的准确率是包含了很大的知识量的，直接选择最大的对于其他的类别的可能性也忽略了。很多时候得到的结果往往是每个类别的可能性都比较接近的，在这种情况，如果直接选择一个最大可能性的类别，出错的可能性就非常大了。如果能够充分利用这个每个类别可能性的信息，那么预测的结果也肯定会更加精确和稳定。
技术实现思路
本专利技术的目的在于提高CNN分类器的分类准确率，同时也提高分类器在应用环境下的准确性，提供一种集成卷积神经网络人脸情感识别方法，该方法是一种适应于以Softmax作为分类器的CNN模型集成，想要通过多个CNN分类器集成，得到一个更加优秀的、准确率更加高的分类器。本专利技术的目的可以通过以下技术方案实现：一种集成卷积神经网络人脸情感识别方法，包括以下步骤：步骤1、利用每层参数递减，限定参数范围的方法随机生成大量的CNN卷积神经网络模型；步骤2、对每一个随机生成的CNN卷积神经网络模型进行训练，得到一个分类器；步骤3、计算每个分类器的在验证集上面的准确率；步骤4、选择准确率最高的m个分类器；步骤5、利用贝叶斯融合算法将m个分类器进行融合。所述步骤1中包括以下步骤：步骤11、随机生成一串长度为k的递减的卷积和下采样层，其中卷积核大小和步长，下采样层池的大小和步长都是随机的；步骤12、将随机从生成的卷积层中抽取1到k区间随机数量的卷积和下采样层，组合Softmax层作为一个CNN模型；所述CNN模型的第一层是Linear卷积，所述CNN模型后面的层次都是Maxout卷积。所述步骤5包括以下步骤：步骤51、将每一个分类器的Softmax输出都进行归一化处理，除以本输出种最小都那个数值；步骤52、将所有的输出经过步骤1处理后的结果对应相乘；步骤53、选择对应位置最大的作为分类的表情。本专利技术的集成卷积神经网络人脸情感识别方法，按照每层参数递减的规则随机生成CNN模型并对模型进行训练得到分类器，利用验证数据集对训练的模型进行预测得到一个准确率，利用这个准确率选择好的分类器，提取每个CNN分类器最后一层(Softmax层)对每一种表情的概率性预测作为整个分类器判定某一个人脸属于某一种表情的概率，利用贝叶斯融合将所有选取的分类器的对人脸表情的概率判断进行融合。本专利技术的目的也可以通过以下技术方案实现：一种集成卷积神经网络人脸情感识别方法，包括以下步骤：(1)随机产生CNN模型。首先随机生成CNN模型的层数，将卷机层与下采样层合在一起作为一层。这样新的层次包含了卷机和下采样。随机生成k层卷积下采样层，对每一层卷积核大小，步长，下采样空间大小按照一层一层递减的方式随机。比如第一层卷积核范围为[6，8]，第二层设置卷积核范围为[4，6]。按照这种方式递减每个参数的随机生成范围。这样得到k层卷积下采样层供随机选择，然后从中随机选择1到k范围地层数。最后再加上最后一层Softmax，生成最后的模型层次。另外对于模型使用了dropout方法，也对每一层dropout的参数进行随机。这样得到一个一个的分类器模型。(2)对得到的分类器模型进行训练，直到随机梯度下降算法在验证集上面检测的准确率连续一定时间不下降了再停止。这样分开得到n个训练好的分类器。生成的分类器n尽量多。(3)在随机生成的n个分类器训练完成后利用验证集对每个分类器进行测试，得到每个模型的准确率。然后选取准确率最高的m个分类器。其中m的选择是这样的：计算所有分类器中准确率最高的那个分类器的准确率，假设为β，计算准确率为[β－0.01,β]区间范围内的分类器的数量作为m的值。如果这样选取的m很小，则再考虑直接指定m的数值，0.01也是一个参考值。(4)对步骤(3)得到的m个分类器进行集成。对测试样本，提取CNN模型最后一层(Softmax层)输出的结果(对于每个类别的可能性向量)为A＝(α0,α1,....,α6)(1)其中αi表示第i种情感对应的可能性，表示分类器认为该人脸是表情i的概率。A是最后一层输出结果。(5)对每个分类器的Softmax输出A通过如下公式进行归一化：A＝(α0/min(A),α1/min(A),....,α6/min(A))(2)其中min(A)是原来向量A的最小值，αi表示第i种情感对应的可能性，A是最后一层输出结果。(6)对上一步进行变化的A进行贝叶斯融合。提取m个分类器的Softmax层输出就得到[A0,A1,...,Am]，这样得到每个分类器Softmax层的输出，最后通过如下公式得到最后的结果：其中，αi表示第i种情感对应的可能性，对应用公式(1)中的数值，m指m个分类器，是m个αi的连乘，i是公式(3)中从0到6的7种表情。argmax是求数组中最大值对应的标号，这个标号与表情对应的标号相一致。这样(3)就得到了对应的表情。本专利技术相对于现有技术具有如下的优点及效果：本专利技术的得到的分类器会比单个分类器的最高的准确率有明显的提高，在最好的情况下能够提高4％以上,同时本方法在实际的预测应用能够并行执行，不会损耗预测的时间。附图说明图1是本专利技术的利用贝叶斯融合集成CNN深度学习分类器的人脸情感识别方法模型图；其中，每个模型的具体层数，每一层卷积，下采样的参数大小是不一样的，对于使用了的dropout，对应每一层的参数也是不一样的。每个模型输出的维数是一致的，都是7维，7种表情。在随机生成大量模型的基础上，本专利技术已经得到了大量的CNN模型。然后利用每个模型在验证数据集上面的准确率选取最好的m个分类器。最后利用贝叶本文档来自技高网...

【技术保护点】
一种集成卷积神经网络人脸情感识别方法，其特征在于，包括以下步骤：步骤1、利用每层参数递减，限定参数范围的方法随机生成大量的CNN卷积神经网络模型；步骤2、对每一个随机生成的CNN卷积神经网络模型进行训练，得到一个分类器；步骤3、计算每个分类器的在验证集上面的准确率；步骤4、选择准确率最高的m个分类器；步骤5、利用贝叶斯融合算法将m个分类器进行融合。

【技术特征摘要】
1.一种集成卷积神经网络人脸情感识别方法，其特征在于，包括以下步骤：步骤1、利用每层参数递减，限定参数范围的方法随机生成大量的CNN卷积神经网络模型；步骤2、对每一个随机生成的CNN卷积神经网络模型进行训练，得到一个分类器；步骤3、计算每个分类器的在验证集上面的准确率；步骤4、选择准确率最高的m个分类器；步骤5、利用贝叶斯融合算法将m个分类器进行融合。2.根据权利要求1所述的集成卷积神经网络人脸情感识别方法，其特征在于，所述步骤1中包括以下步骤：步骤11、随机生成一串长度为k的递减的卷积和下采样层，其中卷积核大小...

【专利技术属性】
技术研发人员：文贵华，侯志，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44