人脸表情的识别方法及装置制造方法及图纸

本公开关于一种人脸表情的识别方法及装置。其中，该方法包括：通过对输入的图片进行人脸检测，得到人脸图片；基于预设的表情分类标准，确定所述人脸图片中各表情的类别；针对不同类别的表情，采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数；基于得到所述人脸的各个所述表情系数的取值，识别出所述人脸的表情。可以提高表情识别的准确性。

Face expression recognition method and device

【技术实现步骤摘要】
人脸表情的识别方法及装置
本公开涉及图像识别
，尤其涉及一种人脸表情的识别方法及装置。
技术介绍
人脸表情识别是指利用计算机对检测到的人脸进行面部表情特征提取，使计算机能够按照人的思维认识对人脸表情进行相应的理解处理，并能够根据人们的需求做出响应，建立友好的、智能化的人机交互环境。目前，人脸动画驱动是人脸表情识别技术的一个应用场景之一，在人脸动画驱动中，通过人脸的表情变化驱动三维虚拟人物的表情作出相应的变化，进而驱动三维虚拟人物动画，可以达到较好的人机交互效果。为了提高人脸动画驱动的效果，对人脸表情进行准确识别是相关技术中的一个技术方案，但针对如何准确有效的识别出人脸表情，目前尚未提出有效的解决方案。
技术实现思路
本公开提供一种人脸表情的识别方法及装置，以至少解决相关技术中某些人脸表情系数获取不准确的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种人脸表情的识别方法，包括：通过对输入的图片进行人脸检测，得到人脸图片；基于预设的表情分类标准，确定所述人脸图片中各表情的类别；针对不同类别的表情，采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数；基于得到所述人脸的各个所述表情系数的取值，识别出所述人脸的表情。可选地，所述不同类别的表情包括：单一类表情，其中，所述单一类表情是指预设的涉及单一运动单元且涉及人脸的单一个体特征的表情；采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数，包括：对所述人脸图片进行识别，获取所述人脸图片中的人脸的多个特征点；利用预设的人脸三维重建方法，基于所述人脸的多个特征点，对所述人脸图片中的人脸进行三维重建，得到所述人脸的各个所述细微类表情的表情系数；分别确定与各个所述单一类表情相关的个体特征，基于与各个所述个体特征的特征点，得到所述人脸的各个所述单一类表情的表情系数。可选地，所述单一类表情至少包括以下之一：睁眼、闭眼、张嘴、和闭嘴。可选地，基于与各个所述个体特征的特征点，得到所述人脸的各个所述单一类表情的表情系数的步骤包括：基于与各个所述个体特征的特征点的坐标值，通过计算各个单一类表情涉及的所述人脸上的个体特征的开合程度，得到对应的各个单一类表情的表情系数。可选地，所述不同类别的表情包括：细微类表情，其中，所所述细微类表情指预设的涉及单一运动单元的表情中除所述单一类表情以外的其它表情；采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数，包括：利用预设的人脸三维重建方法，基于所述人脸的多个特征点，对所述人脸图片中的人脸进行三维重建，得到所述人脸的各个所述细微类表情的表情系数。可选地，所述不同类别的表情还包括：复合类表情，其中，所述复合类表情是指预设的涉及多个运动单元的表情；针对不同类别的表情，采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数，还包括：将所述人脸图片分别输入到各个已训练好的目标深度神经网络模型，得到所述人脸的各个所述复合类表情的表情系数，其中，每个所述目标深度神经网络模型对应一个所述复合类表情，所述目标深度神经网络模型用于识别与其对应的复合类表情的表情系数。可选地，在所述将所述人脸图片分别输入到各个已训练好的目标深度神经网络模型的步骤之前，所述获取方法还包括：针对任一所述复合类表情构建一个对应的深度神经网络模型，分别采集多张人脸图片，将采集的各张人脸图片分别输入到对该复合类表情对应的深度神经网络模型，将输入的人脸图片中的人脸是否具有该复合类表情作为该深度神经网络模型的输出，对该深度神经网络模型进行训练，得到各个已训练好的目标深度神经网络模型。可选地，所述复合类表情至少包括以下之一：愤怒、鼓嘴、和微笑。可选地，在基于得到所述人脸的各个所述表情系数，识别出所述人脸的表情之后，所述获取方法还包括：按照得到的所述人脸的各个所述表情系数，驱动虚拟形象做出对应的表情；和/或基于得到的所述人脸的各个所述表情系数，对三维重建得到的三维人脸模型进行优化。根据本公开实施例的第二方面，提供了一种人脸表情的识别装置，包括：人脸检测单元，被配置为执行通过对输入的图片进行人脸检测，得到人脸图片；确定单元，被配置为执行基于预设的表情分类标准，确定所述人脸图片中各表情的类别；表情系数获取单元，被配置为执行针对不同类别的表情，采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数；表情识别单元，被配置为执行基于得到所述人脸的各个所述表情系数的取值，识别出所述人脸的表情。可选地，所述表情系数获取单元包括：特征点获取模块，被配置为执行对所述人脸图片进行识别，获取所述人脸图片中的人脸的多个特征点；单一类表情系数获取模块，被配置为执行分别确定与各个单一类表情相关的个体特征，基于与各个所述个体特征的特征点，得到所述人脸的各个所述单一类表情的表情系数，其中，所述单一类表情是指涉及单一运动单元且涉及人脸的单一个体特征的表情。可选地，所述表情系数获取单元还包括：细微表情系数获取模块，被配置为执行利用预设的人脸三维重建方法，基于所述人脸的多个特征点，对所述人脸图片中的人脸进行三维重建，得到所述人脸的各个细微类表情的表情系数，其中，所述细微类表情是指涉及单一运动单元的表情中除所述单一类表情以外的其它表情。可选地，所述单一类表情系数获取模块通过以下方式获取各个所述单一类表情的表情系数：基于与各个所述个体特征的特征点的坐标值，通过计算各个单一类表情涉及的所述人脸上的个体特征的开合程度，得到对应的各个单一类表情的表情系数。可选地，所述表情系数获取单元包括：复合类表情系数获取模块，被配置为执行将所述人脸图片分别输入到各个已训练好的深度神经网络模型，得到所述人脸的各个复合类表情的表情系数，其中，每个所述深度神经网络模型对应一个预设的所述复合类表情，所述深度神经网络模型用于识别与其对应的复合类表情的表情系数，其中，所述复合类表情是指预设的涉及多个运动单元的表情。可选地，所述表情系数获取单元还包括：模型训练模块，被配置为执行在所述复合类表情系数获取模块将所述人脸图片分别输入到各个已训练好的深度神经网络模型之前，针对任一所述复合类表情对应的深度神经网络模型，分别采集多张人脸图片，将采集的各张人脸图片分别输入到对该复合类表情对应的深度神经网络模型，根据输入的人脸图片中的人脸是否具有该复合类表情，对该深度神经网络模型进行训练。可选地，所述获取装置还包括：表情驱动单元，被配置为执行按照得到的所述人脸的各个所述表情系数，驱动虚拟形象做出对应的表情；和/或三维优化单元，被配置为执行基于得到的所述人脸的各个所述表情系数，对三维重建得到的三维人脸模型进行优化。根据本公开实施例的第三个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一种人脸表情的识别方法。根据本公开实施例的第四个方面，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本文档来自技高网...

【技术保护点】
1.一种人脸表情的识别方法，其特征在于，包括：/n通过对输入的图片进行人脸检测，得到人脸图片；/n基于预设的表情分类标准，确定所述人脸图片中各表情的类别；/n针对不同类别的表情，采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数；/n基于得到所述人脸的各个所述表情系数的取值，识别出所述人脸的表情。/n

【技术特征摘要】
1.一种人脸表情的识别方法，其特征在于，包括：
通过对输入的图片进行人脸检测，得到人脸图片；
基于预设的表情分类标准，确定所述人脸图片中各表情的类别；
针对不同类别的表情，采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数；
基于得到所述人脸的各个所述表情系数的取值，识别出所述人脸的表情。


2.根据权利要求1所述的方法，其特征在于，
所述不同类别的表情包括：单一类表情，其中，所述单一类表情是指预设的涉及单一运动单元且涉及人脸的单一个体特征的表情；
针对不同类别的表情，采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数，包括：
对所述人脸图片进行识别，获取所述人脸图片中的人脸的多个特征点；
分别确定与各个所述单一类表情相关的个体特征，基于与各个所述个体特征的特征点，得到所述人脸的各个所述单一类表情的表情系数。


3.根据权利要求2所述的方法，其特征在于，
所述不同类别的表情包括：细微类表情，其中，所述细微类表情指预设的涉及单一运动单元的表情中除所述单一类表情以外的其它表情；
采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数，包括：
利用预设的人脸三维重建方法，基于所述人脸的多个特征点，对所述人脸图片中的人脸进行三维重建，得到所述人脸的各个所述细微类表情的表情系数。


4.根据权利要求1所述的获取方法，其特征在于，
所述不同类别的表情包括：复合类表情，其中，所述复合类表情是指预设的涉及多个运动单元的表情；
采用不同的方式得到所述人脸图片中的人脸的各类别表情的表情系数，包括：
将所述人脸图片分别输入到各个已训练好的目标深度神经网络模型，得到所述人脸的各个所述复合类表情的表情系数，其中，每个所述目标深度神经网络模型对应一个所述复合类表情，所述目标深度神经网络模型用于识别与其对应的复合类表情的表情系数。


5.根据权利要求1至4任一项所述的识别方法，其特征在于，在基于得到所述人脸的各个所述表情系数，识别出所述人脸的表情之后，所述获取方法还包括：
按照得到的所述人脸的各个所述表情系数，驱动虚拟形象做出对应的表情；和/或
基于得到...

【专利技术属性】
技术研发人员：李岩，李宣平，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11