一种人脸表情识别方法、设备及计算机可读存储介质技术

技术编号:36578169 阅读:14 留言:0更新日期:2023-02-04 17:37
本申请实施例公开了一种人脸表情识别方法,该方法包括:获取针对人脸的样本彩色图像和样本热红外图像;分别对样本彩色图像和样本热红外图像进行转换处理,得到第一样本图像和第二样本图像;基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像,确定人脸表情识别模型;获取目标人脸的彩色图像和热红外图像,并基于彩色图像、热红外图像和人脸表情识别模型,确定目标人脸的表情信息。本申请实施例还公开了一种人脸表情识别设备和计算机可读存储介质。机可读存储介质。机可读存储介质。

【技术实现步骤摘要】
一种人脸表情识别方法、设备及计算机可读存储介质


[0001]本申请涉及图像处理领域的人脸表情识别技术,尤其涉及一种人脸表情识别方法、设备及计算机可读存储介质。

技术介绍

[0002]表情是人表达情感的主要方式之一,人脸表情识别技术在近年来随着一些相关领域的飞速发展(如人脸识别和图像处理),成为了一个热点发展的技术。人脸表情识别是指利用计算机对检测的人脸进行面部特征提取来确定人脸的表情信息。
[0003]目前,对人脸表情识别主要是通过颜色系统(RGB color mode,RGB)摄像机来针对人脸采集RGB图像,并根据RGB图像从中提取人脸的面部特征,之后对人脸的面部特征进行分析来确定人脸的表情信息。但是,通过RGB图像确定人脸的表情信息容易受到光照和肤色等因素的影响,导致确定人脸的表情信息的准确率低。

技术实现思路

[0004]为解决上述技术问题,本申请实施例期望提供一种人脸表情识别方法、设备及计算机可读存储介质,解决了确定人脸的表情信息的准确率低的问题,提高了确定人脸的表情信息的准确率。
[0005]本申请的技术方案是这样实现的:
[0006]一种人脸表情识别方法,所述方法包括:
[0007]获取针对人脸的样本彩色图像和样本热红外图像;
[0008]分别对所述样本彩色图像和所述样本热红外图像进行转换处理,得到第一样本图像和第二样本图像;
[0009]基于所述样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像,确定人脸表情识别模型;r/>[0010]获取目标人脸的彩色图像和热红外图像,并基于所述彩色图像、所述热红外图像和所述人脸表情识别模型,确定所述目标人脸的表情信息。
[0011]上述方案中,所述获取针对人脸的样本彩色图像和样本热红外图像,包括:
[0012]获取针对具有人脸信息的对象的待处理彩色图像和待处理热红外图像;
[0013]分别对所述待处理彩色图像和所述待处理热红外图像进行关键点检测,得到所述待处理彩色图像的第一人脸关键点集合和所述待处理热红外图像的第二人脸关键点集合;
[0014]基于所述第一人脸关键点集合,从所述待处理彩色图像中确定所述样本彩色图像;
[0015]基于所述第二人脸关键点集合,从所述待处理热红外图像中确定所述样本热红外图像。
[0016]上述方案中,所述基于所述第一人脸关键点集合,从所述待处理彩色图像中确定所述样本彩色图像,包括:
[0017]从所述第一人脸关键点集合中,获取所述待处理彩色图像的除面部轮廓关键点之外的参考关键点;
[0018]基于所述参考关键点在所述待处理彩色图像中的位置和目标尺寸参数,从所述待处理彩色图像中确定所述样本彩色图像。
[0019]上述方案中,所述基于所述第二人脸关键点集合,从所述待处理热红外图像中确定所述样本热红外图像,包括:
[0020]从所述第二人脸关键点集合中,确定所述待处理热红外图像的人脸关键点中面部轮廓关键点;
[0021]基于所述面部轮廓关键点在所述待处理热红外图像中的位置,从所述待处理热红外图像中确定所述样本热红外图像。
[0022]上述方案中,所述分别对所述样本彩色图像和所述样本热红外图像进行转换处理,得到第一样本图像和第二样本图像,包括:
[0023]降低所述样本彩色图像的分辨率得到第一图像,并对所述第一图像的第一像素点的像素值进行处理,得到所述第一样本图像;
[0024]降低所述样本热红外图像的分辨率得到第二图像,并对所述第二图像的第二像素点的像素值进行处理,得到所述第二样本图像。
[0025]上述方案中,所述基于所述样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像,确定人脸表情识别模型,包括:
[0026]基于样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像,得到第一样本图像集合;
[0027]采用伪孪生卷积神经网络基于所述第一样本图像集合中的图像进行模型训练,得到所述人脸表情识别模型。
[0028]上述方案中,所述基于样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像,得到第一样本图像集合,包括:
[0029]采用不同角度分别对所述样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像进行旋转,确定第二样本图像集合;
[0030]对所述第二样本图像集合中的图像进行水平翻转,确定第一样本图像集合。
[0031]上述方案中,基于所述彩色图像、所述热红外图像和所述人脸表情识别模型,确定所述目标人脸的表情信息,包括:
[0032]降低所述彩色图像的分辨率得到第三图像,并对所述第三图像的第三像素点的像素值进行处理,得到第一目标图像;
[0033]降低所述热红外图像的分辨率得到第四图像,并对所述第四图像的第四像素点的像素值进行处理,得到第二目标图像;
[0034]采用所述人脸表情识别模型对所述彩色图像、所述热红外图像、所述第一目标图像和所述第二目标图像进行处理,确定所述目标人脸的表情信息。
[0035]一种人脸表情识别设备,所述设备包括:处理器、存储器和通信总线;
[0036]所述通信总线用于实现所述处理器和所述存储器之间的通信连接;
[0037]所述处理器用于执行所述存储器中存储的人脸表情识别程序,以实现以下步骤:
[0038]获取针对人脸的样本彩色图像和样本热红外图像;
[0039]分别对所述样本彩色图像和所述样本热红外图像进行转换处理,得到第一样本图像和第二样本图像;
[0040]基于所述样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像,确定人脸表情识别模型;
[0041]获取目标人脸的彩色图像和热红外图像,并基于所述彩色图像、所述热红外图像和所述人脸表情识别模型,确定所述目标人脸的表情信息。
[0042]一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述人脸表情识别方法的步骤。
[0043]本申请实施例所提供的人脸表情识别方法、设备及计算机可读存储介质,获取针对人脸的样本彩色图像和样本热红外图像;分别对样本彩色图像和样本热红外图像进行转换处理,得到第一样本图像和第二样本图像;基于样本彩色图像、样本热红外图像、第一样本图像和第二样本图像,确定人脸表情识别模型;获取目标人脸的彩色图像和热红外图像,并基于彩色图像、热红外图像和人脸表情识别模型,确定目标人脸的表情信息;如此,可以根据样本热红外图像对光照和肤色不敏感的特性,基于样本彩色图像、样本热红外图像和第一样本图像和第二样本图像来确定人脸表情识别模型,使得人脸表情识别模型对光照和肤色的敏感度降低,之后基于目标人脸的彩色图像、热红外图像和人脸表情识别模型确定目标人脸的表情信息,可以降低光照和肤色对确定目标人脸的表情信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸表情识别方法,其特征在于,所述方法包括:获取针对人脸的样本彩色图像和样本热红外图像;分别对所述样本彩色图像和所述样本热红外图像进行转换处理,得到第一样本图像和第二样本图像;基于所述样本彩色图像、所述样本热红外图像、所述第一样本图像和所述第二样本图像,确定人脸表情识别模型;获取目标人脸的彩色图像和热红外图像,并基于所述彩色图像、所述热红外图像和所述人脸表情识别模型,确定所述目标人脸的表情信息。2.根据权利要求1所述的方法,其特征在于,所述获取针对人脸的样本彩色图像和样本热红外图像,包括:获取针对具有人脸信息的对象的待处理彩色图像和待处理热红外图像;分别对所述待处理彩色图像和所述待处理热红外图像进行关键点检测,得到所述待处理彩色图像的第一人脸关键点集合和所述待处理热红外图像的第二人脸关键点集合;基于所述第一人脸关键点集合,从所述待处理彩色图像中确定所述样本彩色图像;基于所述第二人脸关键点集合,从所述待处理热红外图像中确定所述样本热红外图像。3.根据权利要求2所述的方法,其特征在于,所述基于所述第一人脸关键点集合,从所述待处理彩色图像中确定所述样本彩色图像,包括:从所述第一人脸关键点集合中,获取所述待处理彩色图像的除面部轮廓关键点之外的参考关键点;基于所述参考关键点在所述待处理彩色图像中的位置和目标尺寸参数,从所述待处理彩色图像中确定所述样本彩色图像。4.根据权利要求2所述的方法,其特征在于,所述基于所述第二人脸关键点集合,从所述待处理热红外图像中确定所述样本热红外图像,包括:从所述第二人脸关键点集合中,确定所述待处理热红外图像的人脸关键点中面部轮廓关键点;基于所述面部轮廓关键点在所述待处理热红外图像中的位置,从所述待处理热红外图像中确定所述样本热红外图像。5.根据权利要求1所述的方法,其特征在于,所述分别对所述样本彩色图像和所述样本热红外图像进行转换处理,得到第一样本图像和第二样本图像,包括:降低所述样本彩色图像的分辨率得到第一图像,并对所述第一图像的第一像素点的像素值进行处理,得到所述第一样本图像;降低所述样本热红外图像的分辨率得到第二图像,并对所述第二图像的第二像素点的像素值进行处理,得到所述第二样本图像。6.根据权利要求1所述的方法,其特征在...

【专利技术属性】
技术研发人员:杨稷
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1