一种人脸关键点检测模型的生成方法及相关设备技术

本发明专利技术提供了一种基于神经网络的人脸关键点检测方法及相关设备，在对人脸图片进行关键点位置信息检测时，通过将含有人脸关键点信息的特征图与热度图相融合进行人脸图片中关键点位置信息检测，由于热度图表征有关键点与其周边关键点之间相似的强度，因此将特征图与热度图相融合，提高人脸关键点位置信息周边比例，减少人脸关键点检测任务上与人脸关键点无关信息的干扰，且在多种尺度下将特征图与融合后特征融合图信息合并，避免了重要信息的丢失，从而实现人脸关键点检测的速度和精度上的提高。提高。提高。

【技术实现步骤摘要】
一种人脸关键点检测模型的生成方法及相关设备


[0001]本专利技术涉及人脸检测
，尤其涉及的是一种人脸关键点检测模型的生成方法及相关设备。

技术介绍

[0002]人脸关键点检测,人脸关键点检测任务是要根据给定的人脸预测出如脸部轮廓、眼部、嘴部、眉毛等预先定义好的一系列关键点的坐标，又称作人脸对齐,是计算机视觉领域中的经典问题之一。精确的人脸关键点定位是许多其他人脸分析人物的基础,如表情识别,3D人脸重建,姿态估计等任务。
[0003]用于人脸关键点检测的SBR模型(Supervision-by-Registration，SBR)主要是基于人脸在实际视频中运动过程较为平滑，不需要提供任何额外的人工标注数据，通过人脸运动平滑的特性就能提升检测器的性能，尤其对视频中人脸关键点检测的稳定性要有很大提升。但是整个网络基于的基础网络结构复杂冗余，使得对算法分析验证变得十分困难。
[0004]现有技术中的人脸关键点检测算法的基础网络结构复杂，导致网络对于人脸关键点相关信息的提取效率低，且对算法分析验证难度高等缺点，因此现有技术中的人脸关键点检测方法无法满足精度高和检测速度快的要求。
[0005]因此，现有技术有待于进一步的改进。

技术实现思路

[0006]鉴于上述现有技术中的不足之处，本专利技术提供了一种人脸关键点检测模型的生成方法及相关设备，克服现有技术中人脸关键点提取时，由于现有技术中的人脸关键点检测算法的基础网络结构复杂，导致的检测结果精度差，检测速度慢等缺陷。
[0007]第一方面，本实施例公开了一种人脸关键点检测模型的生成方法，其中，包括：
[0008]预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图，其中，所述训练集包括多组训练样本，每组训练样本包括人脸图片以及人脸图片对应的关键点热度图和关键点位置信息；
[0009]所述预设网络模型根据所述人脸图片对应的预测关键点位置信息组和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息，对模型参数进行修正，并继续执行根据所述训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述人脸关键点检测模型。
[0010]可选的，所述预设网络模型根据所述人脸图片对应的预测关键点位置信息组和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息，对模型参数进行修正的步骤包括：
[0011]根据所述人脸图片对应的预测关键点位置信息组和所述关键点位置信息，计算出位置损失值；
[0012]根据所述预测关键点热度图、关键点热度图计算出热度图损失值；
[0013]根据所述位置损失值和热度图损失值计算出总损失值；
[0014]根据所述总损失值对模型参数进行修正。
[0015]可选的，所述预设网络模型包括：特征图提取模块、融合图生成模块和预测模块；
[0016]所述预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤包括：
[0017]将所述人脸图片输入所述特征图提取模块，通过所述特征图提取模块得到所述人脸图片对应的下采样特征图组，所述下采样特征图组包括多张预设尺寸不同的下采样特征图；
[0018]将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组；其中，所述融合图组包括多张融合图，每张融合图对应一张下采样特征图，且各张融合图对应的下采样特征图不同；
[0019]将所述下采样特征图组中指定下采样特征图和所述融合图组输入到预测模块，通过所述预测模块得到所述人脸图片对应的预测关键点位置信息组和预测关键点热度图。
[0020]可选的，所述特征图提取模块包括：k层下采样单元，其中，k为正整数。
[0021]将所述人脸图片输入所述特征图提取模块，通过所述特征图提取模块得到所述人脸图片对应的下采样特征图组的步骤包括：
[0022]将所述人脸图片输入第一层下采样单元，通过所述第一层下采样单元输出第一下采样特征图；
[0023]将第二层下采样单元作为目标下采样单元，将所述第一下采样特征图作为目标特征图；
[0024]将所述目标特征图分别输入到所述目标下采样单元和所述融合图生成模块，通过所述目标下采样单元输出第二下采样特征图；
[0025]将所述目标下采样单元输出的第二下采样特征图作为目标特征图，并将所述目标下采样单元的后一层下采样单元作为目标下采样单元；
[0026]继续执行将目标特征图分别输入到所述目标下采样单元和所述融合图生成模块的步骤，直至通过第k层下采样单元输出第k下采样特征图，得到所述特征图提取模块输出的所述下采样特征图组。
[0027]可选的，所述融合图生成模块包括关键点信息生成单元和融合单元；
[0028]所述将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组的步骤包括：
[0029]将第k层下采样单元输出的所述第k下采样特征图输入到所述关键点信息生成单元，通过所述关键点信息生成单元得到与所述第k下采样特征图对应的关键点位置特征图；其中，所述关键点位置特征图包括预测出的关键点坐标信息；
[0030]将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入到所述融合单元，通过所述融合单元输出所述融合图组。
[0031]可选的，所述融合单元包括：热度图生成子单元和融合子单元；
[0032]将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入到所述融合单元，通过所述融合单元输出所述融合图组的步骤
包括：
[0033]将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入所述热度图生成子单元，通过所述热度图生成子单元输出热度图组，其中，所述热度图组包括多个热度图，每张热度图对应一张下采样特征图，且各张热度图对应的下采样特征图不同；
[0034]将所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图和所述热度图组输入到所述融合子单元，通过所述融合子单元输出融合图组。
[0035]可选的，所述预测模块包括：若干层上采样单元和输出层，每层上采样单元各自连接有一个输出层；所述指定下采样特征图为第k下采样特征图；各个输出层输出的预测关键点位置信息精确度不同；
[0036]所述将所述下采样特征图组中指定下采样特征图和所述融合图组输入到预测模块，通过所述预测模块得到所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤包括：
[0037]将所述第k下采样特征图输入到第一层上采样单元，通过第一层上采样单元输出第一上采样特征图；
[0038]将第二层上采样单元作为目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸关键点检测模型的生成方法，其特征在于，包括：预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图，其中，所述训练集包括多组训练样本，每组训练样本包括人脸图片以及人脸图片对应的关键点热度图和关键点位置信息；所述预设网络模型根据所述人脸图片对应的预测关键点位置信息组和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息，对模型参数进行修正，并继续执行所述根据所述训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述人脸关键点检测模型。2.根据权利要求1所述的人脸关键点检测模型的生成方法，其特征在于，所述预设网络模型根据所述人脸图片对应的预测关键点位置信息组和所述预测关键点热度图，以及所述人脸图片对应的关键点热度图和关键点位置信息，对模型参数进行修正的步骤包括：根据所述人脸图片对应的预测关键点位置信息组和所述关键点位置信息，计算出位置损失值；根据所述预测关键点热度图、关键点热度图计算出热度图损失值；根据所述位置损失值和热度图损失值计算出总损失值；根据所述总损失值对模型参数进行修正。3.根据权利要求1所述的人脸关键点检测模型的生成方法，其特征在于，所述预设网络模型包括：特征图提取模块、融合图生成模块和预测模块；所述预设网络模型根据训练集中人脸图片，生成所述人脸图片对应的预测关键点位置信息组和预测关键点热度图的步骤包括：将所述人脸图片输入所述特征图提取模块，通过所述特征图提取模块得到所述人脸图片对应的下采样特征图组，所述下采样特征图组包括多张预设尺寸不同的下采样特征图；将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组；其中，所述融合图组包括多张融合图，每张融合图对应一张下采样特征图，且各张融合图对应的下采样特征图不同；将所述下采样特征图组中指定下采样特征图和所述融合图组输入到预测模块，通过所述预测模块得到所述人脸图片对应的预测关键点位置信息组和预测关键点热度图。4.根据权利要求3所述的人脸关键点检测模型的生成方法，其特征在于，所述特征图提取模块包括：k层下采样单元，其中，k为正整数；将所述人脸图片输入所述特征图提取模块，通过所述特征图提取模块得到所述人脸图片对应的下采样特征图组的步骤包括：将所述人脸图片输入第一层下采样单元，通过所述第一层下采样单元输出第一下采样特征图；将第二层下采样单元作为目标下采样单元，将所述第一下采样特征图作为目标特征图；将所述目标特征图分别输入到所述目标下采样单元和所述融合图生成模块，通过所述目标下采样单元输出第二下采样特征图；将所述目标下采样单元输出的第二下采样特征图作为目标特征图，并将所述目标下采
样单元的后一层下采样单元作为目标下采样单元；继续执行将目标特征图分别输入到所述目标下采样单元和所述融合图生成模块的步骤，直至通过第k层下采样单元输出第k下采样特征图，得到所述特征图提取模块输出的所述下采样特征图组。5.根据权利要求3所述的人脸关键点检测模型的生成方法，其特征在于，所述融合图生成模块包括关键点信息生成单元和融合单元；所述将所述下采样特征图组输入所述融合图生成模块，通过所述融合图生成模块得到融合图组的步骤包括：将第k层下采样单元输出的所述第k下采样特征图输入到所述关键点信息生成单元，通过所述关键点信息生成单元得到与所述第k下采样特征图对应的关键点位置特征图；其中，所述关键点位置特征图包括预测出的关键点坐标信息；将所述关键点位置特征图和所述下采样特征图组中除所述指定下采样特征图之外的其他下采样特征图输入到所述融合单元，通过所述融合单元输出所述融合图组。6.根据权利要求5所述的人...

【专利技术属性】
技术研发人员：齐国强，阮志锋，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：