关键点检测模型及其检测方法、装置及计算机存储介质制造方法及图纸

本申请提供一种关键点检测模型训练及其检测方法、装置及计算机存储介质，主要包括根据初始训练样本，确定初始训练样本中各关键点对应的各坐标参数与各第一可见度类别参数；根据预设数据增强规则针对初始训练样本执行数据增强处理，获得增强训练样本以及增强训练样本中各关键点对应的各第二可见度类别参数；构建关键点检测模型，并将增强训练样本作为输入，将各关键点对应的各坐标参数以及各第二可见度类别参数作为输出，以训练关键点检测模型。本申请针对各类复杂人脸的识别进行了优化，并可减少检测模型的推理耗时，以满足移动设备端的算力需求。设备端的算力需求。设备端的算力需求。

【技术实现步骤摘要】
关键点检测模型及其检测方法、装置及计算机存储介质


[0001]本申请实施例涉及人脸识别
，特别涉及一种关键点检测模型及其检测方法、装置及计算机存储介质。

技术介绍

[0002]人脸关键点检测是人脸识别与分析处理中关键的技术之一，是人脸识别、人脸表情分析、人脸三维重建等技术实现的基础。人脸关键点又称人脸对齐，其有助于定位人脸姿态，还原人脸模型，理解人脸表情属性等。近年来，人脸识别技术的应用已经相对成熟，其中，人脸关键点检测技术也得到广泛的应用。
[0003]目前，人脸识别在移动设备端得到了越来越多的应用。然而，受限于移动端的资源以及算力配置，导致为移动设备端设计CNN模型非常具有挑战性，因此，如何设计出可满足移动设备端需求的高效模型，是人脸识别中一个新的挑战。
[0004]另外，实际应用场景中的模糊、昏暗、大角度侧脸、戴口罩、戴眼镜等音素都会对人脸关键点的检测带来困难。如何解决各种特殊应用场景下各种复杂人脸的关键点检测，也是本申请需要研究的一个问题。

技术实现思路

[0005]鉴于上述问题，本申请提供一种关键点检测模型训练及其检测方法、装置及计算机存储介质，以克服上述问题或者至少部分地解决上述问题。
[0006]本申请第一方面提供一种关键点检测模型训练方法，其包括根据初始训练样本，确定所述初始训练样本中各关键点对应的各坐标参数与各第一可见度类别参数；根据预设数据增强规则、所述初始训练样本中各关键点对应的各坐标参数和各第一可见度类别参数，针对所述初始训练样本执行数据增强处理，获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数；以及构建关键点检测模型，并将所述增强训练样本作为输入，将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出，以训练所述关键点检测模型。。
[0007]本申请第二方面提供一种计算机存储介质，所述计算机存储介质中储存有用于执行上述第一方面所述的关键点检测模型训练方法的各所述步骤的指令。
[0008]本申请第三方面提供一种关键点检测方法，其包括获得目标样本；利用上述第一方面所述的关键点检测模型训练方法所训练的所述关键点检测模型，针对所述目标样本中的各关键点执行检测，获得所述目标样本中各所述关键点对应的各坐标检测结果以及各可见度分类检测结果。
[0009]本申请第四方面提供一种计算机存储介质，所述计算机存储介质中储存有用于执行上述第三方面所述的关键点检测方法的各所述步骤的指令。
[0010]本申请第五方面提供一种关键点检测模型训练装置，其包括：样本获得模块，用于根据初始训练样本，确定所述初始训练样本中多个关键点对应的多个坐标参数和多个第一
可见度类别参数；样本处理模块，用于根据预设数据增强规则、所述初始训练样本中各所述关键点对应的各所述坐标参数和各所述第一可见度类别参数，针对所述初始训练样本执行数据增强处理，获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数；模型训练模块，用于构建关键点检测模型，并将所述增强训练样本作为输入，将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出，以训练所述关键点检测模型。
[0011]本申请第六方面提供一种关键点检测装置，其包括：目标样本获得模块，用于获得目标样本；目标样本检测模块，用于上述第五方面所述的关键点检测模型训练装置所训练的所述关键点检测模型，针对所述目标样本中的各关键点执行检测，获得所述目标样本中各所述关键点对应的各坐标检测结果以及各可见度分类检测结果。
[0012]由以上技术方案可见，本申请提供的关键点检测模型训练及其检测方法、装置及计算机存储介质，通过针对初始训练样本执行数据增强处理以获得增强训练样本，并利用增强训练样本训练关键点检测模型。因此，本申请的关键点检测技术可适用于模糊、昏暗、大角度侧脸等各种复杂人脸的识别作业，并可提高人脸识别的成功率及精确度。
[0013]再者，本申请实施例所构建的关键点检测模型属于轻量级网络结构设计，可节省计算耗时，以满足移动设备端的算力需求。
附图说明
[0014]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0015]图1为本申请第一实施例的关键点检测模型训练方法的流程示意图；
[0016]图2为本申请的初始训练样本中的关键点位置的实施例示意图；
[0017]图3为本申请第二实施例的关键点检测模型训练方法的流程示意图；
[0018]图4A至图4C为本申请基于图片擦除增强规则所获得的增强训练样本的不同实施例示意图；
[0019]图5为本申请第三实施例的关键点检测模型训练方法的流程示意图；
[0020]图6为本申请第四实施例的关键点检测模型训练方法的流程示意图
[0021]图7为本申请实施例的人脸图像的角度值的实施例示意图；
[0022]图8为本申请第六实施例的关键点检测方法的流程示意图；
[0023]图9为本申请第八实施例的关键点检测模型训练装置的结构示意图；
[0024]图10为本申请第九实施例的关键点检测装置的结构示意图。
[0025]元件标号900：关键点检测模型训练装置；910：样本获得模块；920：样本处理模块；930：模型训练模块；940：关键点检测模型；1000：关键点检测装置；1010：目标样本获得模块；1020：目标样本检测模块。
具体实施方式
[0026]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0027]根据本申请
技术介绍
部分所述，目前的人脸检测模型大都无法满足移动设备端的算力需求。此外，实际应用场景中的模糊、昏暗、大角度侧脸、戴口罩、戴眼镜等因素亦会对人脸检测模型的人脸识别作业带来困难，有鉴于此，本申请提供一种关键点检测模型及其检测方法、装置及计算机存储机制，不仅适用于各种应用场景的人脸检测，亦可满足移动设备端的配置及算力需求。
[0028]需说明的是，本申请的关键点检测技术不仅适用于人脸识别，亦可适用于例如猫脸、狗脸等各类型动物面部的识别。
[0029]下面将结合本申请实施例附图进一步说明本申请实施例具体实现。
[0030]第一实施例
[0031]图1示出了本申请第一实施例的关键点检测模型训练方法的流程示意图。如图所示，本实施例的关键点检测模型训练方法主要包括以下：
[0032]步骤S11，根据初始训练样本，确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测模型训练方法，其特征在于，所述方法包括：根据初始训练样本，确定所述初始训练样本中各关键点对应的各坐标参数与各第一可见度类别参数；根据预设数据增强规则、所述初始训练样本中各关键点对应的各坐标参数和各第一可见度类别参数，针对所述初始训练样本执行数据增强处理，获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数；以及构建关键点检测模型，并将所述增强训练样本作为输入，将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出，以训练所述关键点检测模型。2.根据权利要求1所述的关键点检测模型训练方法，其特征在于，所述预设数据增强规则包括图片模糊增强规则、图片昏暗增强规则、图片擦除增强规则、图片变形增强规则中的至少一个。3.根据权利要求1所述的关键点检测模型训练方法，其特征在于，所述初始训练样本包括人脸图像。4.根据权利要求3所述的关键点检测模型训练方法，其特征在于，所述预设数据增强规则为图片擦除增强规则，所述第一可见度类别参数、所述第二可见度类别参数用于标识所述关键点的可见度类别，所述可见度类别包括可见类别和不可见类别中的一个。5.根据权利要求4所述的关键点检测模型训练方法，其特征在于，所述根据预设数据增强规则、所述初始训练样本中各所述关键点对应的各所述坐标参数和各所述第一可见度类别参数，针对所述初始训练样本执行数据增强处理，获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数包括：根据所述图片擦除增强规则和各所述关键点对应的各所述坐标参数，获得待擦除的至少一个所述关键点以作为目标隐藏点；根据各所述目标隐藏点对应的各所述坐标参数，确定目标擦除区域的位置信息；根据所述目标擦除区域的位置信息，针对所述初始训练样本中的对应区域执行数据擦除处理，获得所述增强训练样本；以及针对所述增强训练样本中属于所述目标隐藏点的各所述关键点，将所述不可见类别确定为各所述关键点对应的各所述第二可见度类别参数，针对所述增强训练样本中不属于所述目标隐藏点的各所述关键点，将各所述关键点对应的各所述第一可见度类别参数确定为各所述关键点对应的各所述第二可见度类别参数，据以获得所述增强训练样本中所有所述关键点对应的各所述第二可见度类别参数。6.根据权利要求5所述的关键点检测模型训练方法，其特征在于，所述目标擦除区域包括所述人脸图像中的眉部区域、眼部区域、嘴部区域、鼻部区域、下颚区域、面颊区域中的至少一个。7.根据权利要求4所述的关键点检测模型训练方法，其特征在于，所述根据预设数据增强规则、所述初始训练样本中各所述关键点对应的各所述坐标参数和各所述第一可见度类别参数，针对所述初始训练样本执行数据增强处理，获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数包括：目标擦除区域生成步骤，根据所述图片擦除增强规则，随机生成所述目标擦除区域的位置信息；
数据擦除步骤，根据所述目标擦除区域的位置信息，针对所述初始训练样本中的对应区域执行数据擦除处理，获得所述增强训练样本；以及针对所述增强训练样本中位于所述目标擦除区域中的各所述关键点，将所述不可见类别确定为各所述关键点对应的各所述第二可见度类别参数，针对所述增强训练样本中位于所述目标擦除区域之外的各所述关键点，将各所述关键点对应的各所述第一可见度类别参数确定为各所述关键点对应的各所述第二可见度类别参数，据以获得所述增强训练样本中所有所述关键点对应的各所述第二可见度类别参数。8.根据权利要求7所述的关键点检测模型训练方法，其特征在于，所述根据所述图片擦除增强规则，随机生成所述目标擦除区域的位置信息还包括：根据各所述关键点对应的各所述坐标参数和所述目标擦除区域的位置信息，获得所述目标擦除区域中的所述关键点的数量；根据预设隐藏点数量、所述目标擦除区域中的所述关键点的数量，若所述目标擦除区域中的所述关键点的数量不超过所述预设隐藏点数量，执行所述数据擦除步骤；若所述目标擦除区域中的所述关键点的数量超过所述预设隐藏点数量，则重复所述目标擦除区域生成步骤。9.根据权利要求8中任一项所述的关键点检测模型训练方法，其特征在于，所述目标擦除区域为所述人脸图像中的随机区域，所述预设隐藏点数量为3个。10.根据权利要求4所述的关键点检测模型训练方法，其特征在于，所述构建关键点检测模型，并将所述增强训练样本作为输入，并将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出，以训练所述关键点检测模型包括：构建包括有坐标位置预测器和可见度类别预测器的所述关键点检测模型；将所述增强训练样本作为输入，以供所述坐标位置预测器针对所述增强训练样本中各所述关键点的坐...

【专利技术属性】
技术研发人员：秦勤，
申请(专利权)人：四川云从天府人工智能科技有限公司，
类型：发明
国别省市：