人脸关键点定位方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种人脸关键点定位方法、装置、存储介质及电子设备，以解决现有人脸关键点定位技术计算成本过高的问题。该方法包括：根据预设人脸模板，在人脸图像上预生成初始关键点；针对所述人脸图像上的目标关键点执行以下更新操作：确定包括所述目标关键点的关键点集合，并对所述关键点集合中的所有关键点的坐标进行局部优化；根据所述关键点集合中的所有关键点局部优化前后的坐标，确定用于对所述目标关键点进行全局优化的函数关系式；将所述目标关键点局部优化更新前的坐标代入所述函数关系式，得到所述目标关键点全局优化后的坐标，并将所述目标关键点全局优化后的坐标作为所述目标关键点本次坐标更新的结果。

【技术实现步骤摘要】
人脸关键点定位方法、装置、存储介质及电子设备
本公开涉及图像处理
，具体地，涉及一种人脸关键点定位方法、装置、存储介质及电子设备。
技术介绍
在计算机视觉领域里，人脸图像关键点的定位具有十分重要的意义，其核心在于快速、准确地定位出人脸图像中语义性较强的关键点，譬如人脸图像中的眼角、鼻尖和嘴角等。相关技术中，人脸关键点的定位主要通过以下两种方式：第一种方式是利用图像的基本特征，即人脸的纹理特征和各个特征点之间的位置约束结合从而确定关键点的方法，经典的算法有ASM(activeshapemodel，主动形状模型)和AAM(ActiveAppearanceModels，主动外观模型)算法。第二方式是利用深度学习模型自主学习人脸图像中的关键点。上述两种方式虽然都能够确定人脸关键点的位置，但是却需要通过学习大量的人脸纹理特征和形状特征来确定人脸关键点，前期计算成本较高。
技术实现思路
本公开的目的是提供一种人脸关键点定位方法、装置、存储介质及电子设备，以解决现有人脸关键点定位技术计算成本过高的问题。为了实现上述目的，第一方面，本公开提供一种人脸关键点定位方法，所述方法包括：根据预设人脸模板，在人脸图像上预生成初始关键点；针对所述人脸图像上的目标关键点执行以下更新操作：确定包括所述目标关键点的关键点集合，并对所述关键点集合中的所有关键点的坐标进行局部优化；根据所述关键点集合中的所有关键点局部优化前后的坐标，确定用于对所述目标关键点进行全局优化的函数关系式；将所述目标关键点局部优化更新前的坐标代入所述函数关系式，得到所述目标关键点全局优化后的坐标，并将所述目标关键点全局优化后的坐标作为所述目标关键点本次坐标更新的结果；其中，所述目标关键点是所述人脸图像上的任一关键点。可选地，所述对所述关键点集合中的所有关键点的坐标进行局部优化包括：针对所述关键点集合中的每一关键点执行以下操作：通过如下公式计算所述关键点当前所处邻域范围内所有像素点对所述关键点的综合作用向量：其中，为人脸关键点o在预设邻域Ψo内所受的综合作用向量，wp为对所述预设邻域Ψo内除所述人脸关键点o以外的其他关键点p到所述人脸关键点o的距离进行归一化计算得到的空间权值，d(p,o)为所述人脸关键点o到所述其他关键点p的距离，ρp为所述其他关键点p的梯度幅值；根据所述计算的综合作用向量，对所述关键点的坐标进行局部优化。可选地，所述根据所述关键点集合中的所有关键点局部优化前后的坐标，确定用于对所述目标关键点进行全局优化的函数关系式，包括：根据所述关键点集合中所有关键点局部优化前的坐标以及局部优化后的坐标建立全局拓扑约束方程；通过最小二乘法求解所述全局拓扑约束方程，得到所述函数关系式。可选地，所述方法还包括：在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和小于预设阈值时，停止对所述目标关键点的更新；在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和不小于预设阈值时，再次执行对所述目标关键点的所述更新操作。第二方面，本公开还提供一种人脸关键点装置，所述装置包括：生成模块，用于根据预设人脸模板，在人脸图像上预生成初始关键点；更新模块，用于针对所述人脸图像上的目标关键点执行以下更新操作，其中，所述更新模块包括：局部优化子模块，用于确定包括所述目标关键点的关键点集合，并对所述关键点集合中的所有关键点的坐标进行局部优化；全局优化子模块，用于根据所述关键点集合中的所有关键点局部优化前后的坐标，确定用于对所述目标关键点进行全局优化的函数关系式，并将所述目标关键点局部优化更新前的坐标代入所述函数关系式，得到所述目标关键点全局优化后的坐标，并将所述目标关键点全局优化后的坐标作为所述目标关键点本次坐标更新的结果；其中，所述目标关键点是所述人脸图像上的任一关键点。可选地，所述局部优化子模块用于：针对所述关键点集合中的每一关键点执行以下操作：通过如下公式计算所述关键点当前所处邻域范围内所有像素点对所述关键点的综合作用向量：其中，为人脸关键点o在预设邻域Ψo内所受的综合作用向量，wp为对所述预设邻域Ψo内除所述人脸关键点o以外的其他关键点p到所述人脸关键点o的距离进行归一化计算得到的空间权值，d(p,o)为所述人脸关键点o到所述其他关键点p的距离，ρp为所述其他关键点p的梯度幅值；根据所述计算的综合作用向量，对所述关键点的坐标进行局部优化。可选地，所述全局优化子模块用于：根据所述关键点集合中所有关键点局部优化前的坐标以及局部优化后的坐标建立全局拓扑约束方程；通过最小二乘法求解所述全局拓扑约束方程，得到所述函数关系式。可选地，所述更新模块还用于：在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和小于预设阈值时，停止对所述目标关键点的更新；在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和不小于预设阈值时，再次执行对所述目标关键点的所述更新操作。第三方面，本公开还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面里任一项所述方法的步骤。第四方面，本公开还提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面里任一项所述方法的步骤。通过上述技术方案，可以根据预设人脸模板，在人脸图像上预生成初始关键点，不需要标注大量的训练样本，节省了计算成本。并且，上述技术方案可以对人脸图像上的目标关键点进行更新操作，实现对目标关键点的局部优化和全局优化，从而提高人脸关键点定位的准确性。即本公开提供的技术方案在保证了人脸关键点定位的准确性的基础上，节省了计算成本。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据本公开示例性实施例示出的人脸关键点定位方法的一流程图；图2是根据本公开示例性实施例示出的预设人脸模型的示意图；图3是根据本公开示例性实施例示出的获取双眼区域和嘴巴区域的宽度、长度和中心点坐标的示意图；图4是根据本公开示例性实施例示出的人脸关键点定位方法的另一流程图；图5是使用本公开示例性实施例示出的人脸关键点定位方法进行迭代更新的过程示意图；图6是根据本公开示例性实施例示出的人脸关键点定位装置的框图；图7是根据本公开示例性实施例示出的电子设备的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。图1是根据本公开一示例性实施例示出的一种人脸关键点定位方法的流程图，参照图1，该人脸关键点定位方法包括以下步骤：步骤S101，根据预设人脸模板，在人脸图像上预生成初始关键点。在本公开实施例中，预设人脸模板可以是根据平均脸确定的，该预设人脸模板中可以包括58个人脸关键点，也可以包括其他个数的人脸关键点，等等，本公开对此不作限定。进一步地，针对所述人脸图像上的目标关键点执行如下述步骤S1021至步骤S1023所示的更新操作：步骤S1021，本文档来自技高网...

【技术保护点】
1.一种人脸关键点定位方法，其特征在于，所述方法包括：根据预设人脸模板，在人脸图像上预生成初始关键点；针对所述人脸图像上的目标关键点执行以下更新操作：确定包括所述目标关键点的关键点集合，并对所述关键点集合中的所有关键点的坐标进行局部优化；根据所述关键点集合中的所有关键点局部优化前后的坐标，确定用于对所述目标关键点进行全局优化的函数关系式；将所述目标关键点局部优化更新前的坐标代入所述函数关系式，得到所述目标关键点全局优化后的坐标，并将所述目标关键点全局优化后的坐标作为所述目标关键点本次坐标更新的结果；其中，所述目标关键点是所述人脸图像上的任一关键点。

【技术特征摘要】
1.一种人脸关键点定位方法，其特征在于，所述方法包括：根据预设人脸模板，在人脸图像上预生成初始关键点；针对所述人脸图像上的目标关键点执行以下更新操作：确定包括所述目标关键点的关键点集合，并对所述关键点集合中的所有关键点的坐标进行局部优化；根据所述关键点集合中的所有关键点局部优化前后的坐标，确定用于对所述目标关键点进行全局优化的函数关系式；将所述目标关键点局部优化更新前的坐标代入所述函数关系式，得到所述目标关键点全局优化后的坐标，并将所述目标关键点全局优化后的坐标作为所述目标关键点本次坐标更新的结果；其中，所述目标关键点是所述人脸图像上的任一关键点。2.根据权利要求1所述的方法，其特征在于，所述对所述关键点集合中的所有关键点的坐标进行局部优化包括：针对所述关键点集合中的每一关键点执行以下操作：通过如下公式计算所述关键点当前所处邻域范围内所有像素点对所述关键点的综合作用向量：其中，为人脸关键点o在预设邻域Ψo内所受的综合作用向量，wp为对所述预设邻域Ψo内除所述人脸关键点o以外的其他关键点p到所述人脸关键点o的距离进行归一化计算得到的空间权值，d(p,o)为所述人脸关键点o到所述其他关键点p的距离，ρp为所述其他关键点p的梯度幅值；根据所述计算的综合作用向量，对所述关键点的坐标进行局部优化。3.根据权利要求1所述的方法，其特征在于，所述根据所述关键点集合中的所有关键点局部优化前后的坐标，确定用于对所述目标关键点进行全局优化的函数关系式，包括：根据所述关键点集合中所有关键点局部优化前的坐标以及局部优化后的坐标建立全局拓扑约束方程；通过最小二乘法求解所述全局拓扑约束方程，得到所述函数关系式。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和小于预设阈值时，停止对所述目标关键点的更新；在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和不小于预设阈值时，再次执行对所述目标关键点的所述更新操作。5.一种人脸关键点装置，其特征在于，所述装置包括：生成模块，用于根据预设人脸模板，在人脸图像上预生成初始关键点；更新模块，用...

【专利技术属性】
技术研发人员：罗子懿，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁,21