人脸关键点定位、模型训练方法、装置及可读存储介质制造方法及图纸

本申请提供一种人脸关键点定位、模型训练方法、装置及可读存储介质，本申请的方法包括：根据多个人脸关键点的数据集合，获取训练数据，训练数据包括全局人脸关键点的目标数据和局部人脸关键点的目标数据，目标数据包括人脸关键点的位置信息和可见性信息；根据训练数据对多任务网络模型进行训练，得到多任务网络模型。由于每批次的训练数据混合了全局点位数据和随机选择的局部人脸关键点数据，通过这种训练方式得到的模型学习全局关键点、局部区域关键点、邻近关键点之间潜在的语义信息和形状约束，减少由于部分点位预测不准导致全局点位偏差增大的情况，从而提高了该多任务网络模型对人脸关键点的检测精度。人脸关键点的检测精度。人脸关键点的检测精度。

【技术实现步骤摘要】
人脸关键点定位、模型训练方法、装置及可读存储介质


[0001]本申请实施例涉及多媒体通信
，尤其是涉及一种人脸关键点定位、模型训练方法、装置及可读存储介质。

技术介绍

[0002]现有对于不同场景下人脸关键点的检测定位，主要采用基于主动形状模型(Active Shape Model，ASM)和主动表观模型(Active Appearance Model，AAM)的传统方法、基于级联回归的方法以及基于深度学习的方法。但现有人脸关键点检测模型的检测精度不高，需要进一步提升检测精度。

技术实现思路

[0003]本申请实施例提供一种人脸关键点定位、模型训练方法、装置及可读存储介质，以解决现有人脸关键点检测模型的检测精度不高的问题。
[0004]第一方面，本申请的实施例提供了一种人脸关键点定位模型训练方法，包括：
[0005]根据多个人脸关键点的数据集合，获取训练数据，所述训练数据包括全局人脸关键点的目标数据和局部人脸关键点的目标数据，所述目标数据包括人脸关键点的位置信息和可见性信息；
[0006]根据所述训练数据对多任务网络模型进行训练，得到多任务网络模型，所述多任务网络模型为用于人脸关键点定位的模型。
[0007]可选地，所述根据多个人脸关键点的数据集合，获取训练数据，包括：
[0008]对所述多个人脸关键点进行划分处理，得到多组人脸关键点，每组人脸关键点对应一个局部人脸区域；
[0009]根据所述多组人脸关键点，获取所述局部人脸关键点的目标数据。/>[0010]可选地，所述根据所述多组人脸关键点，获取所述局部人脸关键点的目标数据，包括：
[0011]获取每组人脸关键点的数据的二值掩膜权重值；
[0012]从每组人脸关键点的数据中选取二值掩膜权重值为1的至少一组人脸关键点的目标数据作为所述局部人脸关键点的目标数据。
[0013]可选地，所述根据所述训练数据对多任务网络模型进行训练，得到多任务网络模型，包括：
[0014]根据所述训练数据，获取所述训练数据的标签数据，所述标签数据包括：人脸关键点在热度图中的位置单元、第一偏移量、第二偏移量以及人脸关键点的可见性信息，其中，所述第一偏移量为所述人脸关键点在所述热度图中的坐标相对于所述位置单元的偏移量，所述第二偏移量为所述人脸关键点的邻近人脸关键点在所述热度图中的坐标相对于所述位置单元的偏移量；
[0015]根据所述训练数据的标签数据，对多任务网络模型进行训练，得到所述多任务网
络模型。
[0016]可选地，所述根据所述训练数据的标签数据，对多任务网络模型进行训练，得到所述多任务网络模型，包括：
[0017]根据所述训练数据的标签数据以及总体损失函数，对所述多任务网络模型进行训练，得到所述多任务网络模型；
[0018]其中，所述总体损失函数是根据热度图回归损失函数、人脸关键点偏移量回归损失函数、人脸关键点的邻近人脸关键点的偏移量回归损失函数以及人脸关键点的可见性多分类损失函数得到的。
[0019]可选地，所述根据所述训练数据的标签数据以及总体损失函数，对所述多任务网络模型进行训练，得到所述多任务网络模型，包括：
[0020]对所述训练数据的标签数据进行特征提取，获取不同放缩步长对应的层次特征；
[0021]对所述层次特征进行特征融合，得到不同放缩步长对应的融合特征；
[0022]基于所述总体损失函数以及所述融合特征，得到所述多任务网络模型。
[0023]可选地，所述人脸关键点的可见性多分类损失函数为非对称多标签损失函数。
[0024]第二方面，本申请实施例还提供了一种利用如上所述的多任务网络模型的人脸关键点定位方法，包括：
[0025]根据所述多任务网络模型对待预测人脸图像进行预测，得到输出结果，所述输出结果包括：人脸关键点在热度图中的位置、人脸关键点的坐标偏移量、人脸关键点的邻近人脸关键点的坐标偏移量和人脸关键点的可见性信息；
[0026]根据所述多任务网络模型的输出结果，获取所述待预测人脸图像中人脸关键点的位置信息。
[0027]可选地，所述根据所述多任务网络模型的输出结果，获取所述待预测人脸图像中人脸关键点的位置信息，包括：
[0028]将人脸关键点在热度图中的位置映射至待预测人脸图像，得到人脸关键点在待预测人脸中的目标位置；
[0029]对所述人脸关键点的坐标偏移量进行归一化处理，得到第三偏移量，对所述人脸关键点的邻近人脸关键点的坐标偏移量进行反归一化处理，得到第四偏移量；
[0030]根据所述目标位置、所述第三偏移量和所述第四偏移量，得到所述待预测人脸图像中人脸关键点的位置信息。
[0031]第三方面，本申请实施例还提供了一种人脸关键点定位模型训练装置，包括：
[0032]第一获取模块，用于根据多个人脸关键点的数据集合，获取训练数据，所述训练数据包括全局人脸关键点的目标数据和局部人脸关键点的目标数据，所述目标数据包括人脸关键点的位置信息和可见性信息；
[0033]训练模块，用于根据所述训练数据对多任务网络模型进行训练，得到多任务网络模型，所述多任务网络模型为用于人脸关键点定位的模型。
[0034]第四方面，本申请实施例还提供了一种利用如上所述的多任务网络模型的人脸关键点定位装置，包括：
[0035]第二获取模块，用于根据所述多任务网络模型对待预测人脸图像进行预测，得到输出结果，所述输出结果包括：人脸关键点在热度图中的位置、人脸关键点的坐标偏移量、
人脸关键点的邻近人脸关键点的坐标偏移量和人脸关键点的可见性信息；
[0036]第三获取模块，用于根据所述多任务网络模型的输出结果，获取所述待预测人脸图像中人脸关键点的位置信息。第五方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的人脸关键点定位模型训练方法的步骤，或者，实现如上述所述的人脸关键点定位方法的步骤。
[0037]第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述计算机程序被所述处理器执行时实现如上所述的人脸关键点定位模型训练方法的步骤，或者，实现如上述所述的人脸关键点定位方法的步骤。
[0038]本申请的实施例中，由于每批次的训练数据混合了全局点位数据和随机选择的局部人脸关键点数据，通过这种训练方式得到的模型学习全局关键点、局部区域关键点、邻近关键点之间潜在的语义信息和形状约束，减少由于部分点位预测不准导致全局点位偏差增大的情况，从而提高了该多任务网络模型对人脸关键点的检测精度。
附图说明
[0039]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸关键点定位模型训练方法，其特征在于，包括：根据多个人脸关键点的数据集合，获取训练数据，所述训练数据包括全局人脸关键点的目标数据和局部人脸关键点的目标数据，所述目标数据包括人脸关键点的位置信息和可见性信息；根据所述训练数据对多任务网络模型进行训练，得到多任务网络模型，所述多任务网络模型为用于人脸关键点定位的模型。2.根据权利要求1所述的方法，其特征在于，所述根据多个人脸关键点的数据集合，获取训练数据，包括：对所述多个人脸关键点进行划分处理，得到多组人脸关键点，每组人脸关键点对应一个局部人脸区域；根据所述多组人脸关键点，获取所述局部人脸关键点的目标数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述多组人脸关键点，获取所述局部人脸关键点的目标数据，包括：获取每组人脸关键点的数据的二值掩膜权重值；从每组人脸关键点的数据中选取二值掩膜权重值为1的至少一组人脸关键点的目标数据作为所述局部人脸关键点的目标数据。4.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据对多任务网络模型进行训练，得到多任务网络模型，包括：根据所述训练数据，获取所述训练数据的标签数据，所述标签数据包括：人脸关键点在热度图中的位置单元、第一偏移量、第二偏移量以及人脸关键点的可见性信息，其中，所述第一偏移量为所述人脸关键点在所述热度图中的坐标相对于所述位置单元的偏移量，所述第二偏移量为所述人脸关键点的邻近人脸关键点在所述热度图中的坐标相对于所述位置单元的偏移量；根据所述训练数据的标签数据，对多任务网络模型进行训练，得到所述多任务网络模型。5.根据权利要求4所述的方法，其特征在于，所述根据所述训练数据的标签数据，对多任务网络模型进行训练，得到所述多任务网络模型，包括：根据所述训练数据的标签数据以及总体损失函数，对所述多任务网络模型进行训练，得到所述多任务网络模型；其中，所述总体损失函数是根据热度图回归损失函数、人脸关键点偏移量回归损失函数、人脸关键点的邻近人脸关...

【专利技术属性】
技术研发人员：欧阳谷，琚彬，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：