人脸姿态估计方法、装置、终端及存储介质制造方法及图纸

一种人脸姿态估计方法，包括：输入待估计的人脸姿态图像；根据第一分类模型对所述待估计的人脸姿态图像进行粗分类，以识别出所述待估计的人脸姿态图像是否为全侧脸人脸图像；当所述第一分类模型识别出所述待估计的人脸姿态图像为全侧脸人脸图像时，输出待估计的人脸姿态图像为全侧脸；当所述第一分类模型识别出所述待估计的人脸姿态图像不为全侧脸人脸图像时，根据第二分类模型对所述待估计的人脸姿态图像进行细分类；及输出待估计的人脸姿态图像的人脸姿态值。本发明专利技术还提供一种人脸姿态估计装置、终端及存储介质。本发明专利技术实现了由粗分到精细的人脸姿态估计，提高了人脸姿态估计的效率，获得了较佳的人脸姿态估计效果。

【技术实现步骤摘要】
人脸姿态估计方法、装置、终端及存储介质
本专利技术涉及图像识别
，具体涉及一种人脸姿态估计方法、装置、终端及存储介质。
技术介绍
目前，人脸姿态估计在人脸识别和人机交互等领域中有着重要作用。人脸姿态估计就是对二维图像中的人脸在三维空间中所处的姿态进行估计。人脸姿态变化会导致人脸信息丢失及差异，使得不同人的侧脸的相似度比同一个人的侧脸和正脸之间的相似度还要高。目前RGB图像上的人脸姿态估计一般包括三种方法：基于分类的方法、基于人脸外观的方法及基于回归的方法。基于分类的方法是按人脸角度的一定间距划分成不同的类别进行分类。基于人脸外观的方法是将人脸图像投影到各个主成分分析姿态空间，最相近投影系数空间的姿态作为该图像的人脸姿态。基于回归的方法是事先定义人脸关键点的几何结构，通过关键点检测以及模型从三维(three-dimension，3D)到二维(two-dimension，2D)的映射关系直接回归出人脸姿态的三个角度值：俯仰角(Pitch)，偏航角(Yaw)，翻滚角(Roll)。然而，基于分类的方法中，由于人脸结构上的差异，在大规模数据标注上，该方法一定程度上受限于不同角度的类别之间所具有的主观模糊界限，比如正脸与半侧脸，这将导致最终结果具有一定的误差。基于人脸外观的方法直接依赖于图像的整体像素信息，因此计算维度较高，且姿态空间不连续，需要大量的不同姿态的人脸图像样本。基于回归的方法则主要依赖于关键点与3D人脸模型，而目前仍无法检测出大角度上的关键点，因而具有一定的局限性，如果关键点预测错误，则最终与3D可形变人脸模型进行拟合估计出的姿态值将会有非常大的误差。
技术实现思路
鉴于以上内容，有必要提出一种人脸姿态估计方法、装置、终端及存储介质，针对大角度人脸，首先对人脸图像进行粗分类处理得到全侧脸图像及非全侧脸图像，对于非全侧脸图像则再经过训练好的深度网络模型直接回归出人脸不同姿态的角度值，有效的提高了人脸姿态估计的效率，提高了人脸姿态角度估计的精度，获得了较佳的人脸姿态估计效果。本专利技术的第一方面提供一种人脸姿态估计方法，应用于终端中，所述方法包括：输入待估计的人脸姿态图像；根据第一分类模型对所述待估计的人脸姿态图像进行粗分类，以识别出所述待估计的人脸姿态图像是否为全侧脸人脸图像；当所述第一分类模型识别出所述待估计的人脸姿态图像为全侧脸人脸图像时，输出待估计的人脸姿态图像为全侧脸；当所述第一分类模型识别出所述待估计的人脸姿态图像不为全侧脸人脸图像时，根据第二分类模型对所述待估计的人脸姿态图像进行细分类；及输出待估计的人脸姿态图像的人脸姿态值。根据本专利技术的一个优选实施例，在所述输出待估计的人脸姿态图像为全侧脸之后，所述方法还包括：对所述待估计的人脸姿态图像进行后处理，得到满足要求的人脸图像，所述后处理包括以下一种或多种的组合：对所述全侧脸人脸图像进行合成得到正面人脸图像、对所述全侧脸人脸图像进行搜索得到与所述全侧脸人脸图像相似度超过预设相似度阈值的人脸图像。根据本专利技术的一个优选实施例，所述方法还包括：训练所述第二分类模型，包括：构造样本集，包括：人工标注68个人脸关键点；获取68个人脸关键点的坐标值；将预先生成的3D形变模型投影到所述68个人脸关键点的坐标值上，得到每个样本的人脸姿态值；构造样本数据对，所述样本数据对包括：人脸姿态值及对应的人脸姿态图像；训练端到端的网络模型。根据本专利技术的一个优选实施例，其特征在于，所述第一分类模型为8层残差神经网络模型；所述第二分类模型为10层残差神经网络模型。本专利技术的第二方面提供一种人脸姿态估计装置，安装于终端中，所述装置包括：输入模块，用于输入待估计的人脸姿态图像；第一分类模块，用于根据第一分类模型对所述待估计的人脸姿态图像进行粗分类，以识别出所述待估计的人脸姿态图像是否为全侧脸人脸图像；第一输出模块，用于当所述第一分类模块根据所述第一分类模型识别出所述待估计的人脸姿态图像为全侧脸人脸图像时，输出待估计的人脸姿态图像为全侧脸；第二分类模块，用于当所述第一分类模块根据所述第一分类模型识别出所述待估计的人脸姿态图像不为全侧脸人脸图像时，根据第二分类模型对所述待估计的人脸姿态图像进行细分类；及第二输出模块，用于输出待估计的人脸姿态图像的人脸姿态值。根据本专利技术的一个优选实施例，所述装置还包括：后处理模块，用于在所述第一输出模块输出待估计的人脸姿态图像为全侧脸之后，对所述待估计的人脸姿态图像进行后处理，得到满足要求的人脸图像，所述后处理包括以下一种或多种的组合：对所述全侧脸人脸图像进行合成得到正面人脸图像、对所述全侧脸人脸图像进行搜索得到与所述全侧脸人脸图像相似度超过预设相似度阈值的人脸图像。根据本专利技术的一个优选实施例，所述第二分类模块还包括：样本构造子模块，用于构造样本集，包括：人工标注68个人脸关键点；获取68个人脸关键点的坐标值；将预先生成的3D形变模型投影到所述68个人脸关键点的坐标值上，得到每个样本的人脸姿态值；构造样本数据对，所述样本数据对包括：人脸姿态值及对应的人脸姿态图像；模型训练子模块，用于训练端到端的网络模型。根据本专利技术的一个优选实施例，所述第一分类模型为8层残差神经网络模型；所述第二分类模型为10层残差神经网络模型。本专利技术的第三方面提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现人脸姿态估计方法。本专利技术的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现人脸姿态估计方法。本专利技术运用所述的人脸姿态估计方法，首先对人脸图像进行粗分类处理得到全侧脸图像及非全侧脸图像，对于非全侧脸图像则再经过训练好的深度网络模型直接回归出人脸不同姿态的角度值，提高了人脸姿态角度估计的精度，获得较佳的人脸姿态估计效果。另外，训练的深度网络模型的网络层数较少，模型占用内存低，因而能够有效的缩短人脸姿态估计时间，提高了人脸姿态角度估计的效率，可以实时进行姿态估计。其次，对于分类出来的全侧脸图像，因其丢失了极大部分的人脸信息，进行进一步的处理以便于后续使用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1是本专利技术实施例一提供的人脸姿态估计方法的流程图。图2是本专利技术实施例二提供的残差神经网络训练方法的流程图。图3是本专利技术实施例提供的标注的68个人脸关键点的示意图。图4是本专利技术实施例三提供的人脸姿态估计装置的结构图。图5是本专利技术实施例四提供的终端的示意图。如下具体实施方式将结合上述附图进一步说明本专利技术。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护本文档来自技高网...

【技术保护点】
1.一种人脸姿态估计方法，应用于终端中，其特征在于，所述方法包括：输入待估计的人脸姿态图像；根据第一分类模型对所述待估计的人脸姿态图像进行粗分类，以识别出所述待估计的人脸姿态图像是否为全侧脸人脸图像；当所述第一分类模型识别出所述待估计的人脸姿态图像为全侧脸人脸图像时，输出待估计的人脸姿态图像为全侧脸；当所述第一分类模型识别出所述待估计的人脸姿态图像不为全侧脸人脸图像时，根据第二分类模型对所述待估计的人脸姿态图像进行细分类；及输出待估计的人脸姿态图像的人脸姿态值。

【技术特征摘要】
1.一种人脸姿态估计方法，应用于终端中，其特征在于，所述方法包括：输入待估计的人脸姿态图像；根据第一分类模型对所述待估计的人脸姿态图像进行粗分类，以识别出所述待估计的人脸姿态图像是否为全侧脸人脸图像；当所述第一分类模型识别出所述待估计的人脸姿态图像为全侧脸人脸图像时，输出待估计的人脸姿态图像为全侧脸；当所述第一分类模型识别出所述待估计的人脸姿态图像不为全侧脸人脸图像时，根据第二分类模型对所述待估计的人脸姿态图像进行细分类；及输出待估计的人脸姿态图像的人脸姿态值。2.如权利要求1所述的人脸姿态估计方法，其特征在于，在所述输出待估计的人脸姿态图像为全侧脸之后，所述方法还包括：对所述待估计的人脸姿态图像进行后处理，得到满足要求的人脸图像，所述后处理包括以下一种或多种的组合：对所述全侧脸人脸图像进行合成得到正面人脸图像、对所述全侧脸人脸图像进行搜索得到与所述全侧脸人脸图像相似度超过预设相似度阈值的人脸图像。3.如权利要求2所述的人脸姿态估计方法，其特征在于，所述方法还包括：训练所述第二分类模型，包括：构造样本集，包括：人工标注68个人脸关键点；获取68个人脸关键点的坐标值；将预先生成的3D形变模型投影到所述68个人脸关键点的坐标值上，得到每个样本的人脸姿态值；构造样本数据对，所述样本数据对包括：人脸姿态值及对应的人脸姿态图像；训练端到端的网络模型。4.如权利要求1至3中任意一项所述的人脸姿态估计方法，其特征在于，所述第一分类模型为8层残差神经网络模型；所述第二分类模型为10层残差神经网络模型。5.一种人脸姿态估计装置，安装于终端中，其特征在于，所述装置包括：输入模块，用于输入待估计的人脸姿态图像；第一分类模块，用于根据第一分类模型对所述待估计的人脸姿态图像进行粗分类，以识别出所述待估计的人脸姿态图像是否为全侧脸人脸图像...

【专利技术属性】
技术研发人员：陈淑华，牟永强，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东,44