人脸关键点的模型训练及其检测方法和装置制造方法及图纸

本发明专利技术实施例提供了人脸关键点的模型训练及其检测方法和装置，该模型训练方法包括：从训练图像中提取人脸数据；将所述人脸数据输入至所述第一级网络进行训练，所述第一级网络用于输出人脸关键点的预测坐标；当所述第一级网络训练完成时，在所述人脸数据中、基于所述预测坐标生成目标数据；将所述目标数据输入至所述第二级网络进行训练，所述第二级网络用于输出所述人脸关键点的坐标偏移值；当所述第二级网络训练完成时，确定所述级联网络为人脸关键点检测模型。通过两级网络学习预测坐标与坐标偏移值，在复杂场景下，依然可以得到精确的人脸关键点的坐标。

Model training of face key points and its detection method and device

The embodiment of the present invention provides a model training method for face key points and a detection method and device thereof. The model training method includes: extracting face data from the training image; inputting the face data into the first level network for training; and outputting the prediction coordinates of the face key points in the first level network; When the first-stage network training is completed, the target data is generated based on the predicted coordinates in the face data; the target data is input to the second-stage network for training, and the second-stage network is used to output coordinate offset values of the face key points; when the second-stage network training is completed, the target data is determined. The cascade network is a key point detection model for human faces. Through two-level network learning to predict coordinate and coordinate offset values, in complex scenes, still can get accurate coordinates of face key points.

【技术实现步骤摘要】
人脸关键点的模型训练及其检测方法和装置
本专利技术涉及计算机处理的
，特别是涉及人脸关键点的模型训练及其检测方法和装置。
技术介绍
人脸关键点检测是人脸图像研究中的基础技术之一，目的是自动地估计人脸图片上脸部特征点的坐标，例如，脸部轮廓坐标、五官坐标等，其广泛应用于人脸识别、姿态估计、人脸滤镜、化妆美颜、三维建模等。现有的人脸关键点检测技术中，传统的方法包括基于形状约束方法，基于级联回归的方法，经典模型有主动形状模型(ActiveShapeModels，ASM))和级联回归模型(Cascadedposeregression，CPR)等。但是，传统的方法鲁棒性较差，在复杂场景下，人脸关键点的检测精确度较低。
技术实现思路
本专利技术实施例提出了人脸关键点的模型训练及其检测方法和装置，以解决在复杂场景下，人脸关键点的检测精确度较低的问题。依据本专利技术的一个方面，提供了一种基于级联网络的人脸关键点检测模型的训练方法，所述级联网络包括第一级网络与第二级网络，所述方法包括：从训练图像中提取人脸数据；将所述人脸数据输入至所述第一级网络进行训练，所述第一级网络用于输出人脸关键点的预测坐标；当所述第一级网络训练完成时，在所述人脸数据中、基于所述预测坐标生成目标数据；将所述目标数据输入至所述第二级网络进行训练，所述第二级网络用于输出所述人脸关键点的坐标偏移值；当所述第二级网络训练完成时，确定所述级联网络为人脸关键点检测模型。可选地，所述将所述人脸数据输入至所述第一级网络进行训练，包括：将所述人脸数据输入至所述第一级网络进行处理，输出人脸关键点的预测坐标；采用所述预测坐标计算第一损失值；根据所述第一损失值判断所述第一级网络是否收敛；若是，则确定所述第一级网络训练完成；若否，则根据所述第一损失值调整所述第一级网络，返回执行所述将所述人脸数据输入至所述第一级网络进行处理，输出人脸关键点的原始坐标。可选地，所述采用所述预测坐标计算第一损失值，包括：计算所述预测坐标与真实坐标之间的第一距离；计算所述第一距离的平均值，作为第一损失值。可选地，所述在所述人脸数据中、基于所述预测坐标生成目标数据，包括：在所述人脸数据中、基于所述预测坐标提取局部图像数据；将多个人脸关键点对应的所述局部图像数据按照颜色组合为数据矩阵，作为目标数据。可选地，所述将所述目标数据输入至所述第二级网络进行训练，包括：将所述目标数据输入至所述第二级网络进行处理，输出所述人脸关键点的坐标偏移值；采用所述坐标偏移值计算第二损失值；根据所述第二损失值判断所述第二级网络是否收敛；若是，则确定所述第二级网络训练完成；若否，则根据所述第二损失值调整所述第二级网络，返回执行所述将所述目标数据输入至所述第二级网络进行处理，输出所述人脸关键点的坐标偏移值。可选地，所述采用所述坐标偏移值计算第二损失值，包括：计算所述预测坐标与所述偏移坐标之间的第二距离；计算所述第二距离的平均值，作为第二损失值。可选地，还包括：对所述人脸数据进行数据增强处理；其中，所述数据增强处理包括如下的至少一项：增加噪声数据、裁剪并复原、平移处理、增加对比度。根据本专利技术的另一方面，提供了一种基于人脸关键点检测模型的人脸关键点检测方法，所述人脸关键点检测模型包括第一级网络与第二级网络，所述方法包括：从目标图像中提取人脸数据；将所述人脸数据输入至所述第一级网络进行处理，输出人脸关键点的预测坐标；在所述人脸数据中、基于所述预测坐标生成目标数据；将所述目标数据输入至所述第二级网络进行处理，输出所述人脸关键点的坐标偏移值；在所述预测坐标的基础上加上所述坐标偏移值，获得所述人脸关键点的目标坐标。根据本专利技术的另一方面，提供了一种基于级联网络的人脸关键点检测模型的训练装置，所述级联网络包括第一级网络与第二级网络，所述装置包括：人脸数据提取模块，用于从训练图像中提取人脸数据；第一级网络训练模块，用于将所述人脸数据输入至所述第一级网络进行训练，所述第一级网络用于输出人脸关键点的预测坐标；目标数据生成模块，用于当所述第一级网络训练完成时，在所述人脸数据中、基于所述预测坐标生成目标数据；第二级网络训练模块，用于将所述目标数据输入至所述第二级网络进行训练，所述第二级网络用于输出所述人脸关键点的坐标偏移值；模型确定模块，用于当所述第二级网络训练完成时，确定所述级联网络为人脸关键点检测模型。可选地，所述第一级网络训练模块包括：人脸数据输入子模块，用于将所述人脸数据输入至所述第一级网络进行处理，输出人脸关键点的预测坐标；第一损失值计算子模块，用于采用所述预测坐标计算第一损失值；第一级网络收敛判断子模块，用于根据所述第一损失值判断所述第一级网络是否收敛；若是，则调用第一级网络完成子模块，若否，则调用第一级网络调整子模块；第一级网络完成子模块，用于确定所述第一级网络训练完成；第一级网络调整子模块，用于根据所述第一损失值调整所述第一级网络，返回调用所述人脸数据输入子模块。可选地，所述第一损失值计算子模块包括：第一距离计算单元，用于计算所述预测坐标与真实坐标之间的第一距离；第一平均值计算单元，用于计算所述第一距离的平均值，作为第一损失值。可选地，所述目标数据生成模块包括：局部图像数据提取子模块，用于在所述人脸数据中、基于所述预测坐标提取局部图像数据；矩阵组合子模块，用于将多个人脸关键点对应的所述局部图像数据按照颜色组合为数据矩阵，作为目标数据。可选地，所述第二级网络训练模块包括：目标数据输入子模块，用于将所述目标数据输入至所述第二级网络进行处理，输出所述人脸关键点的坐标偏移值；第二损失值计算子模块，用于采用所述坐标偏移值计算第二损失值；第二级网络收敛判断子模块，用于根据所述第二损失值判断所述第二级网络是否收敛；若是，则调用第二级网络完成子模块，若否，则调用第二级网络调整子模块；第二级网络完成子模块，用于确定所述第二级网络训练完成；第二级网络调整子模块，用于根据所述第二损失值调整所述第二级网络，返回调用所述目标数据输入子模块。可选地，所述第二损失值计算子模块包括：第二距离计算单元，用于计算所述预测坐标与所述偏移坐标之间的第二距离；第二平均值计算单元，用于计算所述第二距离的平均值，作为第二损失值。可选地，还包括：数据增强处理模块，用于对所述人脸数据进行数据增强处理；其中，所述数据增强处理包括如下的至少一项：增加噪声数据、裁剪并复原、平移处理、增加对比度。根据本专利技术的另一方面，提供了一种基于人脸关键点检测模型的人脸关键点检测装置，所述人脸关键点检测模型包括第一级网络与第二级网络，所述装置包括：人脸数据提取模块，用于从目标图像中提取人脸数据；第一级网络处理模块，用于将所述人脸数据输入至所述第一级网络进行处理，输出人脸关键点的预测坐标；目标数据生成模块，用于在所述人脸数据中、基于所述预测坐标生成目标数据；第二级网络处理模块，用于将所述目标数据输入至所述第二级网络进行处理，输出所述人脸关键点的坐标偏移值；目标坐标计算模块，用于在所述预测坐标的基础上加上所述坐标偏移值，获得所述人脸关键点的目标坐标。本专利技术实施例包括以下优点：在本专利技术实施例中，级联网络包括第一级网络与第二级网络，第一级网络用于输出人脸关键点的预测坐标，第二级网络用于输出人脸关键点的坐标偏移值，从本文档来自技高网...

【技术保护点】
1.一种基于级联网络的人脸关键点检测模型的训练方法，其特征在于，所述级联网络包括第一级网络与第二级网络，所述方法包括：从训练图像中提取人脸数据；将所述人脸数据输入至所述第一级网络进行训练，所述第一级网络用于输出人脸关键点的预测坐标；当所述第一级网络训练完成时，在所述人脸数据中、基于所述预测坐标生成目标数据；将所述目标数据输入至所述第二级网络进行训练，所述第二级网络用于输出所述人脸关键点的坐标偏移值；当所述第二级网络训练完成时，确定所述级联网络为人脸关键点检测模型。

【技术特征摘要】
1.一种基于级联网络的人脸关键点检测模型的训练方法，其特征在于，所述级联网络包括第一级网络与第二级网络，所述方法包括：从训练图像中提取人脸数据；将所述人脸数据输入至所述第一级网络进行训练，所述第一级网络用于输出人脸关键点的预测坐标；当所述第一级网络训练完成时，在所述人脸数据中、基于所述预测坐标生成目标数据；将所述目标数据输入至所述第二级网络进行训练，所述第二级网络用于输出所述人脸关键点的坐标偏移值；当所述第二级网络训练完成时，确定所述级联网络为人脸关键点检测模型。2.根据权利要求1所述的方法，其特征在于，所述将所述人脸数据输入至所述第一级网络进行训练，包括：将所述人脸数据输入至所述第一级网络进行处理，输出人脸关键点的预测坐标；采用所述预测坐标计算第一损失值；根据所述第一损失值判断所述第一级网络是否收敛；若是，则确定所述第一级网络训练完成；若否，则根据所述第一损失值调整所述第一级网络，返回执行所述将所述人脸数据输入至所述第一级网络进行处理，输出人脸关键点的原始坐标。3.根据权利要求2所述的方法，其特征在于，所述采用所述预测坐标计算第一损失值，包括：计算所述预测坐标与真实坐标之间的第一距离；计算所述第一距离的平均值，作为第一损失值。4.根据权利要求1所述的方法，其特征在于，所述在所述人脸数据中、基于所述预测坐标生成目标数据，包括：在所述人脸数据中、基于所述预测坐标提取局部图像数据；将多个人脸关键点对应的所述局部图像数据按照颜色组合为数据矩阵，作为目标数据。5.根据权利要求1所述的方法，其特征在于，所述将所述目标数据输入至所述第二级网络进行训练，包括：将所述目标数据输入至所述第二级网络进行处理，输出所述人脸关键点的坐标偏移值；采用所述坐标偏移值计算第二损失值；根据所述第二损失值判断所述第二级网络是否收敛；若是，则确定所述第二级网络训练完成；若否，则根据所述第二损失值调整所述第二级网络，返回执行所述将所述目标数据输入至所述第二级网络进行处理，输出所述人脸关键点的坐标偏移值。6.根据权利要求5所述的方法，其特征在于，所述采用所述坐标偏移值计算第二损失值，包括：计算所述预测...

【专利技术属性】
技术研发人员：李宣平，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11