基于点云的人脸关键点检测方法、装置、系统及存储介质制造方法及图纸

本发明专利技术提供了一种基于点云的人脸关键点检测方法、装置、系统及存储介质，所述方法包括：获取3D点云数据；将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。根据本发明专利技术的方法、装置、系统及存储介质，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。

【技术实现步骤摘要】
基于点云的人脸关键点检测方法、装置、系统及存储介质
本专利技术涉及图像处理
，更具体地涉及基于点云的人脸关键点检测的处理。
技术介绍
目前，图像和视频处理的传统方法一般针对2D空间，2D空间的图像处理技术也相对成熟。在图像处理中人脸关键点定位技术是与人脸图像处理相关的应用中很重要的一项技术，主要用于定位一些人脸中比较重要的点的位置，例如，手机美颜美妆技术，人脸识别技术等都会应用到人脸关键点。随着技术的进步，人们对人脸关键点处理的需求已经不仅仅停留在2D空间上，各种3D关键点的需求孕育而生。而2D人脸关键点技术无法解决图像中对象存在遮挡的问题，且需要依赖图像的颜色信息，使得基于2D空间的人脸检测准确度不高，鲁棒性不够，受图像中的光线等客观条件的影响很大。因此，现有技术中的人脸关键点检测技术存在准确度不高，鲁棒性不够的问题。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种基于点云的人脸关键点检测查找方法、装置、系统及计算机存储介质，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。根据本专利技术的第一方面，提供了一种基于点云的人脸关键点检测方法，包括：获取3D点云数据；将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。根据本专利技术的第二方面，提供了一种基于点云的人脸关键点检测装置，包括：获取模块，用于获取3D点云数据；检测模块，用于将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，所述分割网络用于对所述3D点云数据进行分割得到人脸点云，并输入到所述检测网络；所述检测网络用于基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。根据本专利技术的第三方面，提供了一种基于点云的人脸关键点检测查找系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第一方面所述方法的步骤。根据本专利技术的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现第一方面所述方法的步骤。根据本专利技术实施例的基于点云的人脸关键点检测方法、装置、系统及计算机存储介质，基于3D点云数据进行人脸的关键点检测，提高了人脸关键点检测的准确性和鲁棒性。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是用于实现根据本专利技术实施例的基于点云的人脸关键点检测方法和装置的示例电子设备的示意性框图；图2是根据本专利技术实施例的基于点云的人脸关键点检测方法的示意性流程图；图3是根据本专利技术实施例的基于点云的人脸关键点检测装置的示意性框图；图4是根据本专利技术实施例的基于点云的人脸关键点检测系统的示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本专利技术中描述的本专利技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本专利技术的保护范围之内。首先，参考图1来描述用于实现本专利技术实施例的基于点云的人脸关键点检测方法和装置的示例电子设备100。如图1所示，电子设备100包括一个或多个处理器101、一个或多个存储装置102、输入装置103、输出装置104、图像传感器105，这些组件通过总线系统106或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。所述处理器101可以是中央处理单元(CPU)或者具有基于点云的人脸关键点检测能力或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。所述存储装置102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本专利技术实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用或产生的各种数据等。所述输入装置103可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。所述输出装置104可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。所述图像传感器105可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置102中以供其它组件使用。示例性地，用于实现根据本专利技术实施例的基于点云的人脸关键点检测方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机设备等。下面，将参照图2描述根据本专利技术实施例的基于点云的人脸关键点检测方法200。如图2所示，一种基于点云的人脸关键点检测方法200，包括：首先，在步骤S210中，获取3D点云数据；在步骤S220中，将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。其中，对3D点云数据中分割出人脸部分的点云后，基于人脸部分的点云中的每个点对人脸关键点进行预测，这样基于每个点都可以预测出预定数量的预测关键点即所述关键点检测模型在每个点的角本文档来自技高网...

【技术保护点】
1.一种基于点云的人脸关键点检测方法，其特征在于，所述方法包括：/n获取3D点云数据；/n将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，/n所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；/n所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。/n

【技术特征摘要】
1.一种基于点云的人脸关键点检测方法，其特征在于，所述方法包括：
获取3D点云数据；
将所述3D点云数据输入训练好的关键点检测模型得到所述3D点云数据的人脸关键点，其中，所述关键点检测模型包括分割网络和检测网络，
所述3D点云数据输入所述分割网络进行人脸分割得到人脸点云，并输入到所述检测网络；
所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，并根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。


2.如权利要求1所述的方法，其特征在于，所述检测网络基于所述人脸点云中的每个点预测人脸关键点得到每个点的预测关键点，包括：
基于所述人脸点云的每个点的坐标预测所述每个点与所述人脸关键点之间的距离差；
根据所述每个点的坐标和所述距离差计算所述每个点的预测关键点的坐标。


3.如权利要求2所述的方法，其特征在于，根据对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：
去掉对同一人脸关键位置预测的所述预测关键点中的异常预测关键点；
基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点。


4.如权利要求3所述的方法，其特征在于，基于剩下的对同一人脸关键位置预测的所述预测关键点得到所述人脸关键位置的人脸关键点，包括：
计算与所述剩下的每个所述预测关键点的距离之和最小的点作为所述人脸关键位置的人脸关键点。


5.如权利要求3所述的方法，其特征在于，去掉对同一人脸关键位置...

【专利技术属性】
技术研发人员：孙伟，范浩强，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11