一种基于双模型概率优化的快速表情识别算法和系统技术方案

本发明专利技术提出一种基于双模型概率优化的快速表情识别算法和系统，主要包括人脸识别裁剪模块，图像预处理模块，双模型预测模块和组合概率优化模块；输入图像截取人脸并进行二值化处理，分别送入由标准图像和二值化图像训练的双模型分类器并行判断，同时提出了两种优化算法对双模型输出结果进行组合概率优化，利用两个准确率不高的轻量级神经网络模型识别结果的概率优化实现了高准确率的判断与识别。本发明专利技术可以实现对持续阈值时间及以上的痛苦识别率不低于99％，并极大地降低计算成本和存储成本，同时也可对其他种类的表情进行有效识别。

【技术实现步骤摘要】
一种基于双模型概率优化的快速表情识别算法和系统
本专利技术属于图像处理与情感识别领域，具体为一种基于双模型概率优化的快速表情识别算法和系统。
技术介绍
随着社会的发展，人们对急性病的关注度越来越高，由于急性病发病急剧，症状严重且变化快，因此很难做到急性病症的有效预防且病发时往往伴随剧烈的疼痛，以致病人无法呼救，无法得到及时的救治，患者的生命受到很大的威胁。目前，对于急性病发的识别问题，普遍使用人员陪护，视频监控或在患者身体加装特定传感装置，造成人力资源浪费的同时给患者行动带来不便，现有的神经网络虽已具有非常高的准确率，但存储与计算成本较高，这些都给特种监护智能终端的推广带来了局限。表情通常分为6类通用表情：快乐、悲伤、恐惧、愤怒、厌恶和惊讶，面部和面部表情代表了个人的思维行为，面部表情传达了55％的信息，而只有38％和7％的信息与语言和声音有关，因此，即使疼痛并没有被概念化为一种情绪，但是它可以通过表情进行表达。传统的表情识别算法通常分为两类：一是静态图像分类，具有更快的计算速度，但不能很好的捕捉面部表情的时空特征；二是动态视频分类，可本文档来自技高网...

【技术保护点】
1.一种基于双模型概率优化的快速表情识别算法，其特征在于，具体包括以下步骤：/n步骤1对摄像头送入图像进行取帧，裁剪出人脸图像，作为标准图像；/n步骤2对标准图像进行二值化预处理，同时为降低无效特征的干扰进行中值滤波，得到二值图像；/n步骤3将标准图像和二值图像分别送入Mini_Xception模型和CNN7模型并行判断，识别图像中的人脸表情类别；人脸表情类别分为正常和痛苦两类，在判断过程中记录痛苦为1，正常为0；/n步骤4若双模型的输出结果均为痛苦，即CNN7模型和Mini_Xception模型的判定结果相等且都为1时，激活优化算法，转至步骤5，进行组合概率优化并输出最终结果，反之转至步骤1...

【技术特征摘要】
1.一种基于双模型概率优化的快速表情识别算法，其特征在于，具体包括以下步骤：
步骤1对摄像头送入图像进行取帧，裁剪出人脸图像，作为标准图像；
步骤2对标准图像进行二值化预处理，同时为降低无效特征的干扰进行中值滤波，得到二值图像；
步骤3将标准图像和二值图像分别送入Mini_Xception模型和CNN7模型并行判断，识别图像中的人脸表情类别；人脸表情类别分为正常和痛苦两类，在判断过程中记录痛苦为1，正常为0；
步骤4若双模型的输出结果均为痛苦，即CNN7模型和Mini_Xception模型的判定结果相等且都为1时，激活优化算法，转至步骤5，进行组合概率优化并输出最终结果，反之转至步骤1；
步骤5计数器sum置1，并对此后的L张图像进行统计，并按照优化算法进行累加；
步骤6当在L张图像中sum累加至K或大于K时，转至步骤7，反之转至步骤1；
步骤7输出警报，完成对表情动作的判断；转至步骤1。


2.根据权利要求1所述的一种基于双模型概率优化的快速表情识别算法，其特征在于，概率优化使用优化算法的数学模型对双模型的输出结果进行组合，并对表情动作整体做出判断；
所述优化算法选自下述优化算法一或优化算法二：
(1)优化算法一
当双模型预测结果都为痛苦时，计数器sum＝1，取随后的L张图像，每出现一次双模型预测为痛苦，计数器sum加1，当sum等于K时，产生中断并触发警报，其公式为：



其中，P为算法总成功率，P00表示双模型同时判断为痛苦的概率，K表示设定的阈值，L表示出现双模型同时判断为痛苦后，取随后的L张照片进行统计，Pstart表示痛苦序列出现时，前n张照片中有一张出现双模型判断均为痛苦的概率，其公式为：



(2)优化算法二
设模型一所占权重为W，模型二所占权重为1-W，当双模型预测结果都为痛苦时，计数器sum＝1，取随后的L张图像，每出现一次双模型预测为痛苦，计数器sum加1，当模型一判断为痛苦，模型二判断为正常时，sum加W，当模型二判断为痛苦，模型一判断为正常时，sum加1-W，当sum大于等于K时，产生中断并触发警报；其中，K为设定的阈值，L表示出现双模型同时判断为痛苦后，取随后的L张照片进行统计；
设存在0≤a≤L，0≤b≤L使得式aW+b(1-W)<K，则算法成功率公式为：



其中P1表示模型一判断正确的概率，P2表示模型二判断正确的概率，a,b分别表示判断正确的图像数量，*表示所有(a,b)可能的集合。显然在区间[0,L]内存在实数a,b使不等式aW+b(1-W)＜K，成立。


3.根据权利要求2所述的一种基于双模型概率优化的快速表情识别算法，其特征在于，选用优化算法二对双模型的输出结果进行组合，并对表情动作整体做出判断。


4.根据权利要求1所述的一种基于双模型概率优化的快速表情识别算法，其特征在于，所述CNN7模型主要由两部分组成，第一部分由7组卷积模块组成，使用了二维卷积层(Conv2D层)，Dropout层以及最大池化层(MaxPooling层)，这7组卷积模块均使用Relu作为激活函数；第二部分由全连接层组成，第一层全连接层有128个神经元，激活函数为Relu，第二层全连接层由2个神经元组成，激活函数为softmax起到分类作用。


5.根据权利要求1所述的一种基于双模型概率优化的快速表情识别算法，其特征在于，所述Mini_Xception主要由3部分组成，第一部分为两个Conv2D层，为降低过拟合都使用了批标准化层(BN)并以Relu为激活函数；第二部分由五个双通道模块构成，其中左通道由一个Conv2D层和一个BN层组成，右通道由两个模块组成，第一个模块由深度可分离卷积层、BN层和Relu层组成，第二个模块由深度可分离卷积层和BN层组成，为了降低计算量连接了MaxPooling层,最终使用add层将两个通道合并在一起送入下一模块；第三部分由Conv2D层、Dropout层和全局平均池化层组成，最后使用softmax激活函数，对输出特征进行分类。

【专利技术属性】
技术研发人员：李宪，李炎，潘亚磊，杨明业，于继宇，
申请(专利权)人：青岛大学，
类型：发明
国别省市：山东;37