人脸关键点检测方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种人脸关键点检测方法、装置、设备及存储介质，涉及人工智能的计算机视觉技术领域。所述方法包括：获取三维人脸模型；从n个不同视角投影三维人脸模型，得到n个二维人脸图像；从n个二维人脸图像中检测对应的二维人脸关键点；获取n个二维人脸图像分别对应的关键点映射结果；从n个二维人脸图像分别对应的关键点映射结果中，分别选取与投影视角相对应的三维人脸关键点进行整合，得到三维人脸模型上的三维人脸关键点的定位结果。本申请实施例提供的技术方案，提升在三维人脸模型上检测人脸关键点的准确性。

Face key point detection method, device, equipment and storage medium

【技术实现步骤摘要】
人脸关键点检测方法、装置、设备及存储介质
本申请实施例涉及人工智能的计算机视觉
，特别涉及一种人脸关键点检测方法、装置、设备及存储介质。
技术介绍
人脸关键点检测是指从给定的人脸图像中检测诸如眼球中心、眼角、鼻尖、嘴角、人脸轮廓等部位的关键点。在相关技术中，对于二维人脸图像的人脸关键点检测，已经有比较成熟的技术，例如：ASM(ActiveShapeModel，主动形状模型）算法、AAM（ActiveAppearanceModel、主动外观模型）算法、CPR（CascadedPoseRegression，级联的姿势回归）算法、机器学习算法等等。通过上述人脸关键点检测算法，对二维人脸图像进行处理和分析，最终得到二维人脸图像中的二维人脸关键点的定位结果。但是，对于三维人脸模型中的人脸关键点检测，如果采用上述人脸关键点检测算法，直接对三维人脸模型进行处理和分析，最终得到三维人脸模型中的三维人脸关键点的定位结果，这种方式得到的三维人脸关键点的定位结果不够准确。
技术实现思路
本申请实施例提供了一种人脸关键点检测方法、装置、设备及存储介质，可以提升在三维人脸模型上检测人脸关键点的准确性。所述技术方案如下：一方面，本申请实施例提供了一种人脸关键点检测方法，所述方法包括：获取三维人脸模型；从n个不同视角投影所述三维人脸模型，得到n个二维人脸图像，所述n为大于1的整数；分别从所述n个二维人脸图像中检测对应的二维人脸关键点；获取所述n个二维人脸图像分别对应的关键点映射结果；其中，所述n个二维人脸图像中的第i个二维人脸图像对应的关键点映射结果，包括所述第i个二维人脸图像中的所述二维人脸关键点在所述三维人脸模型上对应的三维人脸关键点，所述i为小于等于所述n的正整数；从所述n个二维人脸图像分别对应的关键点映射结果中，分别选取与投影视角相对应的所述三维人脸关键点进行整合，得到所述三维人脸模型上的所述三维人脸关键点的定位结果。另一方面，本申请实施例提供了一种人脸关键点检测装置，所述装置包括：模型获取模块，用于获取三维人脸模型；模型投影模块，用于从n个不同视角投影所述三维人脸模型，得到n个二维人脸图像，所述n为大于1的整数；关键点检测模块，用于分别从所述n个二维人脸图像中检测对应的二维人脸关键点；结果获取模块，用于获取所述n个二维人脸图像分别对应的关键点映射结果；其中，所述n个二维人脸图像中的第i个二维人脸图像对应的关键点映射结果，包括所述第i个二维人脸图像中的所述二维人脸关键点在所述三维人脸模型上对应的三维人脸关键点，所述i为小于等于所述n的正整数；结果确定模块，用于从所述n个二维人脸图像分别对应的关键点映射结果中，分别选取与投影视角相对应的所述三维人脸关键点进行整合，得到所述三维人脸模型上的所述三维人脸关键点的定位结果。再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述人脸关键点检测方法。可选地，所述计算机设备为终端或服务器。再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述人脸关键点检测方法。还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述人脸关键点检测方法。本申请实施例提供的技术方案可以包括如下有益效果：通过从n个不同视角投影三维人脸模型，得到n个二维人脸图像，分别从n个二维人脸图像中检测对应的二维人脸关键点，获取n个二维人脸图像分别对应的关键点映射结果，从n个二维人脸图像分别对应的关键点映射结果中，选取与投影视角相对应的三维人脸关键点进行整合，得到三维人脸模型上的三维人脸关键点的定位结果，一方面，将三维人脸模型投影成二维人脸图像之后，基于该二维人脸图像进行人脸关键点检测，由于二维人脸图像中的关键点检测精度较佳，因此有助于提升检测结果的准确性；另一方面，将二维检测结果通过映射得到三维检测结果，再选取与投影视角相对应的三维人脸关键点进行整合，最终得到整个三维人脸模型上的三维人脸关键点的定位结果，能够确保三维人脸模型上的各个区域选择准确的三维检测结果，从而提升最终得到的三维人脸关键点的定位结果的准确性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请提供的人脸关键点检测流程的框架图;图2是本申请一个实施例提供的人脸关键点检测方法的流程图;图3是本申请一个实施例提供的三维人脸模型的投影示意图;图4是本申请一个实施例提供的二维人脸关键点的示意图;图5是本申请一个实施例提供的3个不同视角的二维人脸图像中，二维人脸关键点的示意图;图6是本申请另一个实施例提供的人脸关键点检测方法的流程图;图7是本申请一个实施例提供的候选的三维轮廓点的示意图;图8是图5中的二维人脸图像的轮廓点映射结果的示意图;图9是图5中的二维人脸图像的轮廓点映射结果的示意图;图10是本申请另一个实施例提供的三维人脸关键点的示意图;图11是本申请一个实施例提供的人脸关键点检测装置的框图;图12是本申请另一个实施例提供的人脸关键点检测装置的框图;图13是本申请一个实施例提供的计算机设备的结构框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法的例子。AI（ArtificialIntelligence，人工智能）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用本文档来自技高网...

【技术保护点】
1.一种人脸关键点检测方法，其特征在于，所述方法包括：/n获取三维人脸模型；/n从n个不同视角投影所述三维人脸模型，得到n个二维人脸图像，所述n为大于1的整数；/n分别从所述n个二维人脸图像中检测对应的二维人脸关键点；/n获取所述n个二维人脸图像分别对应的关键点映射结果；其中，所述n个二维人脸图像中的第i个二维人脸图像对应的关键点映射结果，包括所述第i个二维人脸图像中的所述二维人脸关键点在所述三维人脸模型上对应的三维人脸关键点，所述i为小于等于所述n的正整数；/n从所述n个二维人脸图像分别对应的关键点映射结果中，分别选取与投影视角相对应的所述三维人脸关键点进行整合，得到所述三维人脸模型上的所述三维人脸关键点的定位结果。/n

【技术特征摘要】
1.一种人脸关键点检测方法，其特征在于，所述方法包括：
获取三维人脸模型；
从n个不同视角投影所述三维人脸模型，得到n个二维人脸图像，所述n为大于1的整数；
分别从所述n个二维人脸图像中检测对应的二维人脸关键点；
获取所述n个二维人脸图像分别对应的关键点映射结果；其中，所述n个二维人脸图像中的第i个二维人脸图像对应的关键点映射结果，包括所述第i个二维人脸图像中的所述二维人脸关键点在所述三维人脸模型上对应的三维人脸关键点，所述i为小于等于所述n的正整数；
从所述n个二维人脸图像分别对应的关键点映射结果中，分别选取与投影视角相对应的所述三维人脸关键点进行整合，得到所述三维人脸模型上的所述三维人脸关键点的定位结果。


2.根据权利要求1所述的方法，其特征在于，所述获取所述n个二维人脸图像分别对应的关键点映射结果，包括：
对于所述第i个二维人脸图像中的所述二维人脸关键点，获取所述二维人脸关键点对应的邻近投影点，其中，所述邻近投影点是指所述三维人脸模型的点云在所述第i个二维人脸图像中的投影点中，距离所述二维人脸关键点最近的一个投影点；
根据映射关系获取与所述邻近投影点对应的点云数据点，其中，所述映射关系包括所述点云与所述投影点之间的映射关系；
根据所述邻近投影点对应的点云数据点，确定所述二维人脸关键点在所述三维人脸模型上对应的三维人脸关键点；
获取所述第i个二维人脸图像中的所述二维人脸关键点在所述三维人脸模型上对应的三维人脸关键点，得到所述第i个二维人脸图像对应的关键点映射结果。


3.根据权利要求2所述的方法，其特征在于，所述二维人脸关键点为二维轮廓点；
所述根据所述邻近投影点对应的点云数据点，确定所述二维人脸关键点在所述三维人脸模型上对应的三维人脸关键点，包括：
根据所述邻近投影点对应的点云数据点，从所述点云中选取与所述二维轮廓点对应的至少一个候选的三维轮廓点，其中，所述候选的三维轮廓点位于所述邻近投影点对应的点云数据点的左右两侧；
将所述候选的三维轮廓点中位于人脸最外侧的点，确定为所述二维轮廓点在所述三维人脸模型上对应的三维轮廓点。


4.根据权利要求1所述的方法，其特征在于，所述从所述n个二维人脸图像分别对应的关键点映射结果中，分别选取与投影视角相对应的所述三维人脸关键点进行整合，得到所述三维人脸模型上的所述三维人脸关键点的定位结果，包括：
从所述第i个二维人脸图像对应的关键点映射结果中，选取与第i个视角对应的所述三维人脸关键点，其中，所述第i个二维人脸图像是从所述第i个视角投影所述三维人脸模型得到的图像；
整合选取的所述n个视角分别对应的所述三维人脸关键点，得到所述三维人脸模型上的所述三维人脸关键点的定位结果。


5.根据权利要求1所述的方法，其特征在于，所述从n个不同视角投影所述三维人脸模型，得到n个二维人脸图像，包括：
对于所述n个不同视角中的第i个视角，将所述三维人脸模型的点云中在所述第i个视角中可见的点云数据点，投影到所述第i个二维人脸图像中，得到所述可见的点云数据点对应的投影点；
根据所述可见的点云数据点形成的三角形面片的纹理颜色，渲染所述投影点形成的三角形面片的纹理颜色，得到所述第i个二维人脸图像。


6.根据权利要求1至5任一项所述的方法，其特征在于，所述n个视角包括：正脸视角、左边侧脸视角和右边侧脸视角。


7.一种人脸关键点检测装置，其特征在于，所述装置包括：
模型获取模块，用于获取三维人脸模型；
模型投影模块，用于从n个不同视角投影所述三维人脸模型，得到n个二维人脸图像，所述n为大于1的整数；<...

【专利技术属性】
技术研发人员：林祥凯，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44