一种基于微表情的图像识别方法、装置以及相关设备制造方法及图纸

技术编号:20917979 阅读:20 留言:0更新日期:2019-04-20 09:59
本发明专利技术实施例公开了一种基于微表情的图像识别方法、装置以及相关设备,方法包括:获取属于第一表情类型的原始表情图像,将原始表情图像输入图像增强模型;属于第一表情类型的原始表情图像是包含微表情的图像;图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到;在图像增强模型中增强原始表情图像中微表情的表情特征,得到属于第二表情类型的目标表情图像;识别与目标表情图像对应的表情属性类型,并将与目标表情图像对应的表情属性类型确定为与原始表情图像对应的表情属性类型。采用本发明专利技术,可以提高微表情图像识别的准确率。

An Image Recognition Method, Device and Related Equipment Based on Micro-expression

The embodiment of the present invention discloses an image recognition method, device and related equipment based on micro-expression, which includes: acquiring the original expression image belonging to the first expression type and inputting the original expression image into the image enhancement model; the original expression image belonging to the first expression type is an image containing micro-expression; and the image enhancement model is based on the sample belonging to the first expression type. The expression image and the sample expression image belonging to the second expression type are trained; the expression features of micro-expressions in the original expression image are enhanced in the image enhancement model, and the target expression image belonging to the second expression type is obtained; the expression attribute types corresponding to the target expression image are recognized, and the expression attribute types corresponding to the target expression image are determined as the original expression map. Like the corresponding expression attribute type. The method can improve the accuracy of micro-expression image recognition.

【技术实现步骤摘要】
一种基于微表情的图像识别方法、装置以及相关设备
本专利技术涉及计算机
,尤其涉及一种基于微表情的图像识别方法、装置以及相关设备。
技术介绍
在生活的任何地方、任何时刻,人们都会具有各种不同的情绪。情绪与表情具有密切的联系,表情是情绪的外部表现,情绪是表情内心体验。而表情中的微表情是人物试图隐藏内心真实情感却又不由自主流露出的不易察觉的面部表情,微表情通常发生与人物具有隐瞒心里的状态下,与一般的面部表情相比,微表情最显著的特点是持续时间短、强度弱,反应了人物试图压抑与隐藏的真实情感,是一种有效的非言语线索。特别是在意图对自己心里变化做出掩饰时,更容易做出相应动作,因此微表情的识别可以用于安全、刑侦、心里等需要探查人物真实想法的领域,破解人物的隐瞒意图。在现有技术中,对微表情图像的识别方法主要是通过提取微表情图像的特征,再根据提取出来的特征进行分类和识别。但是由于微表情具有表情强度低,动作行为快的特点,即使是不同类型的微表情图像也非常的相似,就导致提取出来的特征不具备很好的区分性,进而就会降低对微表情图像识别的准确率。
技术实现思路
本专利技术实施例提供一种基于微表情的图像识别方法、装置以及相关设备,可以提高微表情图像识别的准确率。本专利技术实施例一方面提供了一种基于微表情的图像识别方法,包括:获取属于第一表情类型的原始表情图像,将所述原始表情图像输入图像增强模型;所述属于第一表情类型的原始表情图像是包含微表情的图像;所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到;所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像;在所述图像增强模型中增强所述原始表情图像中微表情的表情特征,得到属于第二表情类型的目标表情图像;识别与所述目标表情图像对应的表情属性类型,并将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。其中,所述图像增强模型包括第一增强子模型和第二增强子模型;所述在所述图像增强模型中增强所述原始表情图像中微表情的表情特征,得到属于第二表情类型的目标表情图像,包括:将所述原始表情图像中的表情标识区域确定为单位原始表情图像,并将所述单位原始表情图像输入所述第一增强子模型,在所述第一增强子模型中增强所述单位原始表情图像的表情特征,得到单位辅助图像;将所述原始表情图像输入所述第二增强子模型,在所述第二增强子模型中增强所述原始表情图像的表情特征,得到目标辅助图像;根据所述单位原始表情图像在所述原始表情图像中的位置信息,将所述单位辅助图像和所述目标辅助图像组合为所述目标表情图像。其中,所述将所述单位原始表情图像输入所述第一增强子模型,在所述第一增强子模型中增强所述单位原始表情图像的表情特征,得到单位辅助图像,包括:将所述单位原始表情图像输入所述第一增强子模型的输入层,得到与所述单位原始表情图像对应的第一原始矩阵;从所述第一原始矩阵中随机采样,得到第一原始向量,根据所述第一增强子模型中的转置卷积层,对所述第一原始向量进行反卷积处理,得到第一目标张量,并将所述第一目标张量确定为所述单位辅助图像。其中,所述将所述原始表情图像输入所述第二增强子模型,在所述第二增强子模型中增强所述原始表情图像的表情特征,得到目标辅助图像,包括:将所述原始表情图像输入所述第二增强子模型的输入层,得到与所述原始表情图像对应的第二原始矩阵;从所述第二原始矩阵中随机采样,得到第二原始向量,根据所述第二增强子模型中的转置卷积层,对所述第二原始向量进行反卷积处理,得到第二目标张量,并将所述第二目标张量确定为所述目标辅助图像。其中,还包括:将所述原始表情图像二值化处理,得到二值图像;基于梯度算子对所述二值图像进行边缘检测,得到梯度图像,并在所述梯度图像中确定边缘轮廓所在的目标位置信息;在所述原始表情图像中,将所述目标位置信息所标识的区域确定为所述表情标识区域。其中,所述识别与所述目标表情图像对应的表情属性类型,包括:将所述目标表情图像输入图像识别模型中;根据所述图像识别模型中的正向卷积层的卷积处理和池化层的池化处理,提取与所述目标表情图像对应的目标结构特征信息;根据所述图像识别模型中的分类器,识别所述目标结构特征信息与所述图像识别模型中多个表情属性类型特征的匹配度,在由所述目标结构特征信息得到的多个匹配度中,将最大匹配度所对应的表情属性类型,作为与所述目标表情图像对应的表情属性类型。其中,还包括:获取属于第一表情类型的第一样本表情图像,并获取属于第二表情类型的第二样本表情图像;基于样本生成模型增强所述第一样本表情图像中微表情的表情特征,得到样本增强图像;基于样本判别模型提取与所述样本增强图像对应的第一结构特征信息,并根据所述样本判别模型中的分类器识别与所述第一结构特征信息对应的匹配概率;所述匹配概率用于表征所述样本增强图像属于真实表情类型的概率;基于样本识别模型提取与所述样本增强图像对应的第二结构特征信息,并根据所述样本识别模型中的分类器识别与所述第二结构特征信息对应的标签信息集合;所述标签信息集合用于表征所述样本增强图像与多种表情属性类型的匹配度;根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值,并根据所述模型损失值确定所述图像增强模型和所述图像识别模型。其中,所述根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生成模型损失值,并根据所述模型损失值确定所述图像增强模型和所述图像识别模型,包括:根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值;根据所述模型损失值调整所述样本生成模型中参数的权值、所述样本判别模型中参数的权值和所述样本识别模型中参数的权值,当所述模型损失值小于目标阈值时,将调整后的样本生成模型确定为所述图像增强模型,并将调整后的样本识别模型确定为所述图像识别模型。其中,所述模型损失值包括:生成损失值、判别损失值和验证损失值;所述根据所述样本增强图像、所述第二样本表情图像、所述匹配概率、所述标签信息集合和所述第一样本表情图像对应的表情属性类型生成模型损失值,包括:根据所述样本增强图像和所述第二样本表情图像,确定所述生成损失值;根据所述匹配概率和所述第二样本表情图像,确定所述判别损失值;根据所述标签信息集合和所述第一样本表情图像对应的表情属性类型,确定所述验证损失值;根据所述生成损失值、所述判别损失值和所述验证损失值,生成所述模型损失值。本专利技术实施例一方面提供了一种基于微表情的图像识别装置,包括:第一获取模块,用于获取属于第一表情类型的原始表情图像,将所述原始表情图像输入图像增强模型;所述属于第一表情类型的原始表情图像是包含微表情的图像;所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到;所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像;增强模块,用于在所述图像增强模型中增强所述原始表情图像中微表情的表情特征,得到属于第二表情类型的目标表情图像;识别模块,用于识别与所述目标表情图像对应的表情属性类型;确定模块,用于将与所述目标表本文档来自技高网...

【技术保护点】
1.一种基于微表情的图像识别方法,其特征在于,包括:获取属于第一表情类型的原始表情图像,将所述原始表情图像输入图像增强模型;所述属于第一表情类型的原始表情图像是包含微表情的图像;所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到;所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像;在所述图像增强模型中增强所述原始表情图像中微表情的表情特征,得到属于第二表情类型的目标表情图像;识别与所述目标表情图像对应的表情属性类型,并将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。

【技术特征摘要】
1.一种基于微表情的图像识别方法,其特征在于,包括:获取属于第一表情类型的原始表情图像,将所述原始表情图像输入图像增强模型;所述属于第一表情类型的原始表情图像是包含微表情的图像;所述图像增强模型是根据属于第一表情类型的样本表情图像和属于第二表情类型的样本表情图像训练得到;所述属于第二表情类型的样本表情图像的表情强度大于所述属于第一表情类型的样本图像;在所述图像增强模型中增强所述原始表情图像中微表情的表情特征,得到属于第二表情类型的目标表情图像;识别与所述目标表情图像对应的表情属性类型,并将与所述目标表情图像对应的表情属性类型确定为与所述原始表情图像对应的表情属性类型。2.根据权利要求1所述的方法,其特征在于,所述图像增强模型包括第一增强子模型和第二增强子模型;所述在所述图像增强模型中增强所述原始表情图像中微表情的表情特征,得到属于第二表情类型的目标表情图像,包括:将所述原始表情图像中的表情标识区域确定为单位原始表情图像,并将所述单位原始表情图像输入所述第一增强子模型,在所述第一增强子模型中增强所述单位原始表情图像的表情特征,得到单位辅助图像;将所述原始表情图像输入所述第二增强子模型,在所述第二增强子模型中增强所述原始表情图像的表情特征,得到目标辅助图像;根据所述单位原始表情图像在所述原始表情图像中的位置信息,将所述单位辅助图像和所述目标辅助图像组合为所述目标表情图像。3.根据权利要求2所述的方法,其特征在于,所述将所述单位原始表情图像输入所述第一增强子模型,在所述第一增强子模型中增强所述单位原始表情图像的表情特征,得到单位辅助图像,包括:将所述单位原始表情图像输入所述第一增强子模型的输入层,得到与所述单位原始表情图像对应的第一原始矩阵;从所述第一原始矩阵中随机采样,得到第一原始向量,根据所述第一增强子模型中的转置卷积层,对所述第一原始向量进行反卷积处理,得到第一目标张量,并将所述第一目标张量确定为所述单位辅助图像。4.根据权利要求2所述的方法,其特征在于,所述将所述原始表情图像输入所述第二增强子模型,在所述第二增强子模型中增强所述原始表情图像的表情特征,得到目标辅助图像,包括:将所述原始表情图像输入所述第二增强子模型的输入层,得到与所述原始表情图像对应的第二原始矩阵;从所述第二原始矩阵中随机采样,得到第二原始向量,根据所述第二增强子模型中的转置卷积层,对所述第二原始向量进行反卷积处理,得到第二目标张量,并将所述第二目标张量确定为所述目标辅助图像。5.根据权利要求2所述的方法,其特征在于,还包括:将所述原始表情图像二值化处理,得到二值图像;基于梯度算子对所述二值图像进行边缘检测,得到梯度图像,并在所述梯度图像中确定边缘轮廓所在的目标位置信息;在所述原始表情图像中,将所述目标位置信息所标识的区域确定为所述表情标识区域。6.根据权利要求1所述的方法,其特征在于,所述识别与所述目标表情图像对应的表情属性类型,包括:将所述目标表情图像输入图像识别模型中;根据所述图像识别模型中的正向卷积层的卷积处理和池化层的池化处理,提取与所述目标表情图像对应的目标结构特征信息;根据所述图像识别模型中的分类器,识别所述目标结构特征信息与所述图像识别模型中多个表情属性类型特征的匹配度,在由所述目标结构特征信息得到的多个匹配度中,将最大匹配度所对应的表情属性类型,作为与所述目标表情图像对应的表情属性类型。7.根据权利要求1所述的方法,其特征在于,还包括:获取属于第一表情类型的第一样本表情图像,并获取属于第二表情类型的第二样本表情图像;基于样本生成模型增强所述第一样本表情图像中微表情的表情特征,得到样本增强图像;基于样本判别模型提取与所述样本增强图像对应的第一结构特征信息,并根据所述样本判别模型中的分类器识别与所述第一结构特征信息对应的匹配概率;所述匹配概率用于表征所述样本增强图像属于真实表情类型的概率;基于样本识别模型提取与所述样本增强图像对应的第二结构特征信息,并根据所述样本识别模型中的分类器识别与所述第二结构特征信息对应的标签信息集合;所述标签信息集合用于表征所述样本增强图像与多种表情属性类型的匹配度;根据所述样本增强图像、所述第二样本表情图像、所述匹配概率所述标签信息集合生...

【专利技术属性】
技术研发人员:张凯皓罗文寒马林刘威
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1