三维人脸关键点检测方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例涉及一种三维人脸关键点检测方法、装置、电子设备及存储介质，其中该方法包括：获取目标人脸在不同视角下的多张投影视图；对每张投影视图进行处理，得到每张投影视图的人脸特征参数；基于每张投影视图的人脸特征参数和预设的三维人脸公式进行计算，得到每张投影视图的预测三维人脸；基于每张投影视图的预测三维人脸、人脸特征参数和预设的投影公式进行计算，确定每张投影视图的二维关键点；建立每个二维关键点对应的关键点视角射线，并基于多条关键点视角射线进行处理，得到目标三维关键点。采用上述技术方案，基于各个不同视角下的人脸信息进行处理，能够快速获取高精度的三维关键点，以应用到人脸有关领域中，更加满足应用需求。满足应用需求。满足应用需求。

【技术实现步骤摘要】
三维人脸关键点检测方法、装置、电子设备及存储介质


[0001]本公开涉及信息处理
，尤其涉及一种三维人脸关键点检测方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，在很多应用当中往往需要一些高精度三维人脸关键点的辅助，比如在整容领域，用于术前术后对人脸的评估，通过测量高度、宽度、角度等信息判断是否符合审美标准、以及再比如人脸识别、表情分析、三维人脸重构、三维人脸动画等领域。
[0003]相关技术中，基于单视图估计，首先在视图上检测出二维人脸点，然后估计出深度信息，这一类算法精度往往比较差，特别是对于被遮挡的点。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种三维人脸关键点检测方法、装置、电子设备及存储介质。
[0005]本公开实施例提供了一种三维人脸关键点检测方法，所述方法包括：
[0006]获取目标人脸在不同视角下的多张投影视图；
[0007]对每张所述投影视图进行处理，得到每张所述投影视图的人脸特征参数；
[0008]基于每张所述投影视图的人脸特征参数和预设的三维人脸公式进行计算，得到每张所述投影视图的预测三维人脸；
[0009]基于每张所述投影视图的预测三维人脸、人脸特征参数和预设的投影公式进行计算，确定每张所述投影视图的二维关键点；
[0010]建立每个所述二维关键点对应的关键点视角射线，并基于多条所述关键点视角射线进行处理，得到目标三维关键点。
[0011]本公开实施例还提供了一种三维人脸关键点检测装置，所述装置包括：
[0012]获取模块，用于获取目标人脸在不同视角下的多张投影视图；
[0013]第一处理模块，用于对每张所述投影视图进行处理，得到每张所述投影视图的人脸特征参数；
[0014]第一计算模块，用于基于每张所述投影视图的人脸特征参数和预设的三维人脸公式进行计算，得到每张所述投影视图的预测三维人脸；
[0015]第二计算模块，用于基于每张所述投影视图的预测三维人脸、人脸特征参数和预设的投影公式进行计算，确定每张所述投影视图的二维关键点；
[0016]建立模块，用于建立每个所述二维关键点对应的关键点视角射线；
[0017]第二处理模块，用于基于多条所述关键点视角射线进行处理，得到目标三维关键点。
[0018]本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执
行所述指令以实现如本公开实施例提供的三维人脸关键点检测方法。
[0019]本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的三维人脸关键点检测方法。
[0020]本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的三维人脸关键点检测方案，获取目标人脸在不同视角下的多张投影视图；对每张投影视图进行处理，得到每张投影视图的人脸特征参数；基于每张投影视图的人脸特征参数和预设的三维人脸公式进行计算，得到每张投影视图的预测三维人脸；基于每张投影视图的预测三维人脸、人脸特征参数和预设的投影公式进行计算，确定每张投影视图的二维关键点；建立每个二维关键点对应的关键点视角射线，并基于多条关键点视角射线进行处理，得到目标三维关键点。采用上述技术方案，基于各个不同视角下的人脸信息进行处理，能够快速获取高精度的三维关键点，以应用到人脸有关领域中，更加满足不同应用领域的使用需求。
附图说明
[0021]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0022]图1为本公开实施例提供的一种三维人脸关键点检测方法的流程示意图；
[0023]图2为本公开实施例提供的另一种三维人脸关键点检测方法的流程示意图；
[0024]图3为本公开实施例提供的一种人脸关系的示意图；
[0025]图4为本公开实施例提供的一种三维人脸关键点检测装置的结构示意图；
[0026]图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0027]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0028]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0029]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0030]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0031]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0032]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性
的目的，而并不是用于对这些消息或信息的范围进行限制。
[0033]在实际应用中，一些应用领域需要高精度三维人脸关键点的辅助，通常三维关键点数量是几十个，如果人工手动定位的，极大地浪费人力，相关技术中，基于单视图定位的方法由于要解决的是一个从二维视图中复原三维信息的病态问题，精度比较低，特别是有些区域被遮挡的情况下；或者是基于几何信息的方法，其处理的对象是点云，在点云上提取几何信息直接预测出三维人脸点，这类方法的精度取决于点云密度，较高的点云密度虽然可以提高精度，但是会消耗庞大的计算资源，很难部署到实际应用中。
[0034]因此，相关技术要么是精度达不到要求，要么是无法落地，本公开实施例的三维人脸关键点检测方法不仅可以达到很高的定位精度，而且可以部署到实际应用中，通过获取目标人脸在不同视角下的多张投影视图；对每张投影视图进行处理，得到每张投影视图的人脸特征参数；基于每张投影视图的人脸特征参数和预设的三维人脸公式进行计算，得到每张投影视图的预测三维人脸；基于每张投影视图的预测三维人脸、人脸特征参数和预设的投影公式进行计算，确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维人脸关键点检测方法，其特征在于，包括：获取目标人脸在不同视角下的多张投影视图；对每张所述投影视图进行处理，得到每张所述投影视图的人脸特征参数；基于每张所述投影视图的人脸特征参数和预设的三维人脸公式进行计算，得到每张所述投影视图的预测三维人脸；基于每张所述投影视图的预测三维人脸、人脸特征参数和预设的投影公式进行计算，确定每张所述投影视图的二维关键点；建立每个所述二维关键点对应的关键点视角射线，并基于多条所述关键点视角射线进行处理，得到目标三维关键点。2.根据权利要求1所述的三维人脸关键点检测方法，其特征在于，所述对每张所述投影视图进行处理，得到每张所述投影视图的人脸特征参数，包括：将每张所述投影视图输入预训练的卷积神经网络进行处理，得到每张所述投影视图的人脸形状系数、人脸表情系数、缩放系数、旋转矩阵、人脸状态参数和图像空间平移参数作为每张所述投影视图的人脸特征参数。3.根据权利要求1所述的三维人脸关键点检测方法，其特征在于，所述基于每张所述投影视图的人脸特征参数和预设的三维人脸公式进行计算，得到每张所述投影视图的预测三维人脸，包括：基于每张所述投影视图的人脸特征参数确定每张所述投影视图的人脸形状系数和人脸表情系数；将每张所述投影视图的人脸形状系数和人脸表情系数输入所述三维人脸公式进行计算，得到每张所述投影视图的预测三维人脸。4.根据权利要求3所述的三维人脸关键点检测方法，其特征在于，所述将每张所述投影视图的人脸形状系数和人脸表情系数输入所述三维人脸公式进行计算，得到每张所述投影视图的预测三维人脸，包括：基于所述三维人脸公式确定平均人脸形状矩阵、人脸形状基矩阵和人脸表情基矩阵；计算所述人脸形状系数和所述人脸形状基矩阵的第一乘积、所述人脸表情系数和所述人脸表情基矩阵的第二乘积；将所述平均人脸形状矩阵、所述第一乘积和所述第二乘积进行相加，得到所述预测三维人脸。5.根据权利要求1所述的三维人脸关键点检测方法，其特征在于，所述基于每张所述投影视图的预测三维人脸、人脸特征参数和预设的投影公式进行计算，确定每张所述投影视图的二维关键点，包括：基于所述每张所述投影视图的人脸特征参数确定每张所述投影视图的缩放系数、旋转矩阵、人脸状态参数和图像空间平移参数；基于每张所述投影视图的预测三维人脸确...

【专利技术属性】
技术研发人员：皮成祥，王嘉磊，张健，江腾飞，
申请(专利权)人：先临三维科技股份有限公司，
类型：发明
国别省市：