本申请涉及一种情绪识别方法、装置、计算机设备和存储介质。所述方法包括：获取待识别面部图片；通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率；所述预设类型的情绪包括第一类型情绪和第二类型情绪；当所述第一类型情绪的概率大于第一阈值时，对所述待识别面部图片进行识别得到局部特征值；获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率；根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪。采用本方法能够提高情绪识别的准确率。别的准确率。别的准确率。
【技术实现步骤摘要】
情绪识别方法、装置、计算机设备和存储介质
[0001]本申请涉及图像识别
，特别是涉及一种情绪识别方法、装置、计算机设备和存储介质。
技术介绍
[0002]随着人工智能技术的发展，出现了面部微表情识别技术，传统的面部微表情识别技术通常包括基于面部特征的方法和基于深度学习的方法。
[0003]其中基于深度学习的方法，通常是采用卷积神经网络，即以数据驱动为主的，虽然能带来较好的识别效果，但其缺点是只能识别训练集上有标注的表情，目前比较主流的数据集上提供的有标注的表情类别通常只有6至8类。
[0004]基于面部特征的方法则需要面部特征定义规则，但是该些部分特征定义规则不完善，例如采用眼睛中心点和眉毛两端点之间的夹角计算夹角来判断人是否发生皱眉，然而眼睛中心会由于眼球运动产生剧烈的变化，从而影响角度计算的准确性，对皱眉产生漏判和误判。
[0005]因此急需一种能够准确地识别情绪的方法。
技术实现思路
[0006]基于此，有必要针对上述技术问题，提供一种能够融合面部特征和深度学习以提高准确性的情绪识别方法、装置、计算机设备和存储介质。
[0007]一种情绪识别方法，所述方法包括：
[0008]获取待识别面部图片；
[0009]通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率；所述预设类型的情绪包括第一类型情绪和第二类型情绪；
[0010]当所述第一类型情绪的概率大于第一阈值时，对所述待识别面部图片进行识别得到局部特征值；
[0011]获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率；
[0012]根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪。
[0013]在其中一个实施例中，所述通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率，包括：
[0014]采用按照预设顺序串联的深度可分离卷积层依次提取特征图；
[0015]当所述特征图大小为预设大小时，采用在所述深度可分离卷积层之间增加的感受野扩大模块进行特征图提取；
[0016]通过全连接层对所得到的特征图进行处理，得到预设类型情绪的概率。
[0017]在一个实施例中，所述对所述待识别面部图片进行识别得到局部特征值之后，还
包括：
[0018]将所述局部特征值按照时间顺序更新至局部特征动态序列中。
[0019]在一个实施例中，所述获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率，包括：
[0020]通过预设的规则从所述局部特征动态序列中提取第一类型情绪下眉毛角度；
[0021]确定当前表情下眉毛角度与所述第一类型情绪下眉毛角度的第一差值以及皱眉表情下眉毛角度与所述第一类型情绪下眉毛角度的第一最大差值；
[0022]根据所述第一差值与所述第一最大差值的比率得到皱眉概率。
[0023]在一个实施例中，所述获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率，包括：
[0024]通过预设的规则从所述局部特征动态序列中提取第一类型情绪下嘴角特征值；
[0025]确定当前表情下所述嘴角特征值与所述第一类型情绪下嘴角特征值的第二差值，嘴角上扬表情下嘴角特征值与所述第一类型情绪下嘴角特征值的第二最大差值以及嘴角下移表情下嘴角特征值与所述第一类型情绪下嘴角特征值的第三最大差值；
[0026]根据所述第二差值与所述第二最大差值的比率得到嘴角上扬概率，根据所述第二差值与所述第三最大差值的比率得到嘴角下移概率。
[0027]在一个实施例中，所述方法还包括：
[0028]对所述待识别面部图片进行识别，得到头部动作的欧拉角；
[0029]当所述欧拉角的绝对值大于第二阈值时，对所述局部动作概率进行校正。
[0030]在一个实施例中，所述方法还包括：
[0031]对所述待识别面部图片进行识别，得到头部动作的欧拉角；
[0032]将所述欧拉角按照时间顺序更新至头部动作动态序列中；
[0033]当所述头部动作动态序列中欧拉角的极大值和极小值差的绝对值大于第四阈值时，对所述局部动作概率进行校正。
[0034]在一个实施例中，所述根据所述第一类型情绪的概率、所述第二类型情绪的概率和局部动作概率，得到所述待识别面部图片对应的情绪，包括：
[0035]当所述局部动作概率大于第三阈值时，对所述第一类型情绪的概率和所述第二类型情绪的概率进行校正；
[0036]根据校正后的所述第一类型情绪的概率和所述第二类型情绪的概率，得到所述待识别面部图片对应的情绪。
[0037]一种情绪识别装置，所述装置包括：
[0038]图片获取模块，用于获取待识别面部图片；
[0039]情绪概率计算模块，用于通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率；所述预设类型的情绪包括第一类型情绪和第二类型情绪；
[0040]局部特征值识别模块，用于当所述第一类型情绪的概率大于第一阈值时，对所述待识别面部图片进行识别得到局部特征值；
[0041]局部动作概率计算模块，用于获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率；
[0042]情绪判定模块，用于根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪。
[0043]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述的方法的步骤。
[0044]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。
[0045]上述表情识别方法、装置、计算机设备和存储介质，终端采用以训练集数据驱动的深度学习模型，提高了在复杂现实场景下的情绪识别的准确率，通过局部特征判断规则计算情绪概率，则解决了深度学习模型不能识别训练集标注数据之外的情绪。融合深度学习模型和局部特征判断规则之后，大大提高了情绪识别的准确率，适用性和灵活度。
附图说明
[0046]图1为一个实施例中情绪识别方法的流程示意图；
[0047]图2为一个实施例中通过深度学习模型得到情绪概率的流程示意图；
[0048]图3为一个实施例中获得皱眉概率的流程示意图；
[0049]图4为一个实施例中获得嘴角上扬或者下移概率的流程示意图；
[0050]图5为一个实施例中通过欧拉角校正局部动作概率的流程示意图；
[0051]图6为一个实施例中通过欧拉角序列校正局部动本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法包括：获取待识别面部图片；通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率；所述预设类型的情绪包括第一类型情绪和第二类型情绪；当所述第一类型情绪的概率大于第一阈值时，对所述待识别面部图片进行识别得到局部特征值；获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率；根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪。2.根据权利要求1所述的方法，其特征在于，所述通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率，包括：采用按照预设顺序串联的深度可分离卷积层依次提取特征图；当所述特征图大小为预设大小时，采用在所述深度可分离卷积层之间增加的感受野扩大模块进行特征图提取；通过全连接层对所得到的特征图进行处理，得到预设类型情绪的概率。3.根据权利要求1所述的方法，其特征在于，所述对所述待识别面部图片进行识别得到局部特征值之后，还包括：将所述局部特征值按照时间顺序更新至局部特征动态序列中。4.根据权利要求3所述的方法，其特征在于，所述获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率，包括：通过预设的规则从所述局部特征动态序列中提取第一类型情绪下眉毛角度；确定当前表情下眉毛角度与所述第一类型情绪下眉毛角度的第一差值以及皱眉表情下眉毛角度与所述第一类型情绪下眉毛角度的第一最大差值；根据所述第一差值与所述第一最大差值的比率得到皱眉概率。5.根据权利要求3所述的方法，其特征在于，所述获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率，包括：通过预设的规则从所述局部特征动态序列中提取第一类型情绪下嘴角特征值；确定当前表情下所述嘴角特征值与所述第一类型情绪下嘴角特征值的第二差值，嘴角上扬表情下嘴角特征值与所述第一类型情绪下嘴角特征值的第二最大差值以及嘴角下移表情下嘴角特征值与所述第一类型情绪下嘴角特征值的第三最大差值...
【专利技术属性】
技术研发人员：问倩，丘延君，徐孟君，
申请(专利权)人：风变科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。