人脸关键点的插值方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术实施例提供了一种人脸关键点的插值方法、装置、计算机设备和存储介质，该方法包括：获取二维的第一人脸数据，第一人脸数据中具有二维的第一人脸关键点，根据第一人脸关键点拟合三维的第二人脸数据，第二人脸数据具有三维的第二人脸关键点，选定第二人脸数据中局部的区域，作为目标区域，对目标区域进行线性变形，使得将目标区域中的第二人脸关键点透视投影至二维的第三人脸关键点时，第一人脸关键点与第三人脸关键点重叠，将拟合人脸数据时的优化问题调整为线性的优化问题，线性的优化问题处理较为简单，计算量较低，可以大大降低计算耗时，在资源较为紧缺的设备上实时处理。在资源较为紧缺的设备上实时处理。在资源较为紧缺的设备上实时处理。

【技术实现步骤摘要】
人脸关键点的插值方法、装置、计算机设备和存储介质


[0001]本专利技术实施例涉及计算机视觉的
，尤其涉及一种人脸关键点的插值方法、装置、计算机设备和存储介质。

技术介绍

[0002]对于增强现实(Augmented Reality，AR)(如给用户试戴帽子、试戴眼镜、追加胡子等)、人脸驱动虚拟角色(如人偶、动物)等图像处理，是基于用户的人脸数据进行的。
[0003]这些人脸数据属于三维人脸的二维投影，为了业务需求，根据人脸数据上的人脸关键点准确地计算三维的人脸模型和三维的人脸姿态，这个过程是人脸关键点拟合的过程，处理较为复杂，计算量较高，难以在资源较为紧缺的设备上实时处理。

技术实现思路

[0004]本专利技术实施例提出了一种人脸关键点的插值方法、装置、计算机设备和存储介质，以解决如何降低拟合人脸关键点的计算量的问题。
[0005]第一方面，本专利技术实施例提供了一种人脸关键点的插值方法，包括：
[0006]获取二维的第一人脸数据，所述第一人脸数据中具有二维的第一人脸关键点；
[0007]根据所述第一人脸关键点拟合三维的第二人脸数据，所述第二人脸数据具有三维的第二人脸关键点；
[0008]选定所述第二人脸数据中局部的区域，作为目标区域；
[0009]对所述目标区域进行线性变形，使得将所述目标区域中的所述第二人脸关键点透视投影至二维的第三人脸关键点时，所述第一人脸关键点与所述第三人脸关键点重叠。
[0010]第二方面，本专利技术实施例还提供了一种人脸关键点的插值装置，包括：
[0011]二维人脸数据获取模块，用于获取二维的第一人脸数据，所述第一人脸数据中具有二维的第一人脸关键点；
[0012]三维人脸数据拟合模块，用于根据所述第一人脸关键点拟合三维的第二人脸数据，所述第二人脸数据具有三维的第二人脸关键点；
[0013]目标区域选定模块，用于选定所述第二人脸数据中局部的区域，作为目标区域；
[0014]目标区域形变模块，用于对所述目标区域进行线性变形，使得将所述目标区域中的所述第二人脸关键点透视投影至二维的第三人脸关键点时，所述第一人脸关键点与所述第三人脸关键点重叠。
[0015]第三方面，本专利技术实施例还提供了一种计算机设备，所述计算机设备包括：
[0016]一个或多个处理器；
[0017]存储器，用于存储一个或多个程序，
[0018]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的人脸关键点的插值方法。
[0019]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存
储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的人脸关键点的插值方法。
[0020]本实施例获取二维的第一人脸数据，第一人脸数据中具有二维的第一人脸关键点，根据第一人脸关键点拟合三维的第二人脸数据，第二人脸数据具有三维的第二人脸关键点，选定第二人脸数据中局部的区域，作为目标区域，对目标区域进行线性变形，使得将目标区域中的第二人脸关键点透视投影至二维的第三人脸关键点时，第一人脸关键点与第三人脸关键点重叠，将拟合人脸数据时的优化问题调整为线性的优化问题，线性的优化问题处理较为简单，计算量较低，可以大大降低计算耗时，在资源较为紧缺的设备上实时处理。
附图说明
[0021]图1为本专利技术实施例一提供的一种人脸关键点的插值方法的流程图；
[0022]图2为本专利技术实施例一提供的一种目标区域的示例图；
[0023]图3A至图3E是本专利技术实施例一提供的一种重投影的示例图；
[0024]图4为本专利技术实施例三提供的一种人脸关键点的插值装置的结构示意图；
[0025]图5为本专利技术实施例四提供的一种计算机设备的结构示意图。
具体实施方式
[0026]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0027]实施例一
[0028]图1为本专利技术实施例一提供的一种人脸关键点的插值方法的流程图，本实施例可适用于通过线性的方式对人脸关键点进行插值的情况，该方法可以由人脸关键点的插值装置来执行，该人脸关键点的插值装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，移动终端(如手机、平板电脑等)、可穿戴设备(如智能眼镜、智能手表等)，等等，具体包括如下步骤：
[0029]步骤101、获取二维的第一人脸数据。
[0030]一方面，在计算机设备中，可以安装Android(安卓)、iOS、HarmonyOS(鸿蒙系统)等操作系统，用户可以在这些操作系统中安装其所需的应用程序，例如，直播应用、短视频应用、美颜应用、会议应用，等等。
[0031]另一方面，计算机设备可以配置有一个或多个摄像头camera，这些摄像头可以安装在计算机设备的正面(又称前置摄像头)、也可以安装在计算机设备的背部(又称后置摄像头)。
[0032]在AR、人脸驱动虚拟角色等业务操作中，这些应用程序可以调用摄像头面向用户采集图像数据，对该图像数据进行人脸检测，从而在图像数据中检测用户二维的人脸数据，该人脸数据以二维的人脸关键点表示，为便于区分，二维的人脸数据记为第一人脸数据，二维的人脸关键点记为第一人脸关键点，即，在二维的第一人脸数据中具有二维的第一人脸关键点。
[0033]其中，人脸检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸数据，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等等。
[0034]进一步地，可通过如下方式进行人脸检测：
[0035]1、利用人工提取特征，如haar特征，使用特征训练分类器，使用分类器进行人脸检测。
[0036]2、从通用的目标检测算法中继承人脸检测，例如，利用Faster R
‑
CNN来检测人脸。
[0037]3、使用级联结构的卷积神经网络，例如，Cascade CNN(级联卷积神经网络)，MTCNN(Multi
‑
task Cascaded Convolutional Networks，多任务卷积神经网络)。
[0038]需要说明的是，人脸关键点的数量，可以由本领域技术人员根据实际情况设置，对于静态的图像处理，实时性要求较低，可以检测较为稠密的人脸关键点，如1000个，除了能定位人脸重要特征点之外，还能准确的描述出五官的轮廓；对于直播等，实时性要求较高，可以检测较为稀疏的人脸关键点，如68、81、106个，定位人脸上比较明显且重要的特征点(如眼睛关键点、眉毛关键点、鼻子关键点、嘴巴关键点、轮廓关键点等)，以降低处理量、减少处理时间，等等，本专利技术实施例对此不加以限制。
[0039]示例性地，调用摄像头面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸关键点的插值方法，其特征在于，包括：获取二维的第一人脸数据，所述第一人脸数据中具有二维的第一人脸关键点；根据所述第一人脸关键点拟合三维的第二人脸数据，所述第二人脸数据具有三维的第二人脸关键点；选定所述第二人脸数据中局部的区域，作为目标区域；对所述目标区域进行线性变形，使得将所述目标区域中的所述第二人脸关键点透视投影至二维的第三人脸关键点时，所述第一人脸关键点与所述第三人脸关键点重叠。2.根据权利要求1所述的方法，其特征在于，所述第二人脸数据以网格的形式表示，所述网格中具有多个三维的顶点，部分所述顶点为所述第二人脸关键点；所述对所述目标区域进行线性变形，使得将所述目标区域中的所述第二人脸关键点透视投影至二维的第三人脸关键点时，所述第一人脸关键点与所述第三人脸关键点重叠，包括：设定对所述目标区域进行形变、将所述顶点映射至三维的目标点；计算第一向量与第二向量之间的差异，作为向量差异，所述第一向量为所述顶点转换的向量，所述第二向量为所述目标点转换的向量；计算所述第一人脸关键点与第三人脸关键点之间的差异，作为重投影差异，所述第三人脸关键点为将所述目标点所透视投影的二维的人脸关键点；计算所述目标点在Z轴方向上移动的距离；将所述向量差异、所述重投影差异与所述距离线性融合，作为目标函数；以最小化所述目标函数作为目标，求解所述目标点。3.根据权利要求2所述的方法，其特征在于，所述计算第一向量与第二向量之间的差异，作为向量差异，包括：对所述顶点进行拉普拉斯变形，得到第一向量；对所述目标点进行拉普拉斯变形，得到第二向量；将所述第一向量减去所述第二向量，获得向量差异。4.根据权利要求2所述的方法，其特征在于，所述计算所述第一人脸关键点与第三人脸关键点之间的差异，作为重投影差异，包括：计算第一参考矩阵，所述第一参考矩阵为包含所述第一人脸关键点的单位矩阵与摄像头的参数之间的乘积，所述摄像头用于采集所述第一人脸数据；计算第二参考矩阵，所述第二参考矩阵为所述第一参考矩阵与对所述目标点线性变换后的Z轴的分量之间的比值；计算第一目标矩阵、第二目标矩阵，所述第一目标矩阵为所述第二参考矩阵与旋转矩阵之间的乘积，所述第二目标矩阵为所述第二参考矩阵与平移向量之间乘积的反向，所述旋转矩阵与所述平移向量均用于线性变换；将所述第一目标矩阵与所述目标点之间的乘积，减去所述第二目标矩阵，获得重投影差异。5.根据权利要求2所述的方法，其特征在于，所述计算所述目标点在Z轴方向上移动的距离，包括：计算旋转矩阵的Z轴的分量与所述目标点之间的乘积，作为第一中间值；
计算所述第二人脸关键点线性变换后之后的Z轴的分量减去平移向量的Z轴的分量之间的差值，作为第二中间值；计算所述乘积与所述差值之间的差值，作为所述...

【专利技术属性】
技术研发人员：陈文喻，刘更代，王志勇，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：