一种关键点检测模型训练方法及关键点检测方法技术

本公开涉及一种关键点检测模型训练方法及关键点检测方法。上述关键点检测模型训练方法包括：获取多个样本图像，每一上述样本图像包括对应的标注信息，上述标注信息包括用于表征上述样本图像中的目标对象的标注框信息，以及用于表征目标对象上的关键点信息；将上述样本图像输入预设模型进行目标检测以及基于目标检测结果的关键点检测,得到样本检测结果，上述样本检测结果包括目标对象预测信息以及关键点预测信息；根据上述样本检测结果与标注信息之间的差异确定训练损失并调节上述预设模型的参数,得到关键点检测模型。本公开可以克服关键点检测中热力图无法区分空间距离较近的同类关键点的问题，同时提升了关键点检测的效率。的效率。的效率。

【技术实现步骤摘要】
一种关键点检测模型训练方法及关键点检测方法


[0001]本公开涉及计算机视觉
，尤其涉及一种关键点检测模型训练方法及关键点检测方法。

技术介绍

[0002]关键点检测(特指二维关键点检测)是一种从图像中识别并标注关键点位置的技术，对于机器视觉理解图像中的人及物体具有重要意义。传统的关键点检测的方法可分为自顶向下与自底向上两大类。自顶向下的方法通常分为两步进行：首先检测出图像中的各个目标，再对各目标分别进行关键点检测，这类方法的计算复杂度会随着图像中目标的增加而线性增长。因此，虽然可以达到较高的准确性，但其两步走的流程及不固定的检测时间使得这类方法不适用于实时检测任务。自底向上的方法通常基于热力图来一次性检测所有的关键点，再通过一个复杂的后处理过程将关键点分类于各自的目标，但是，自底向上的方法无法区分位置十分相近的同一类关键点，而且后处理过程通常不可导，因此无法利用神经网络进行并行计算，这在一定程度上也限制了该类方法的执行效率。

技术实现思路

[0003]为了解决上述提出的至少一个技术问题，本公开提出了一种关键点检测模型训练方法、关键点检测方法、装置、存储介质和电子设备。
[0004]根据本公开的一方面，提供了一种关键点检测模型训练方法，其包括：获取多个样本图像，每一所述样本图像包括对应的标注信息，所述标注信息包括用于表征所述样本图像中的目标对象的标注框信息，以及用于表征目标对象上的关键点信息；将所述样本图像输入预设模型进行目标检测以及基于目标检测结果的关键点检测,得到样本检测结果，所述样本检测结果包括目标对象预测信息以及关键点预测信息；根据所述目标对象预测信息和所述标注框信息之间的差异，确定目标检测损失；根据所述关键点信息和所述关键点预测信息之间的差异，确定关键点检测损失；根据所述目标检测损失和所述关键点检测损失调节所述预设模型的参数,得到关键点检测模型。
[0005]在一些可能的实施方式中，所述目标对象预测信息包括所述目标对象的预测类别信息、所述目标对象对应的预测框的位置信息与所述预测框的置信度，所述预测框的置信度表征所述预测框内存在所述目标对象的概率；所述关键点预测信息包括所述关键点的预测类别信息、所述关键点的预测位置信息与所述关键点的置信度，所述关键点的置信度表征所述关键点预测的准确程度。
[0006]在一些可能的实施方式中，所述目标对象的标注框信息包括其对应的目标对象的位置信息和类别信息；所述根据所述目标对象预测信息和所述标注框信息之间的差异，确定目标检测损失，包括:基于所述目标对象的预测类别信息与所述目标对象的类别信息之间的差异，确定目标对象分类损失分量；基于所述目标对象对应的预测框的位置信息与所述目标对象的位置信息之间的差异，确定目标对象预测框损失分量；基于所述检测框的置
信度、所述目标对象对应的预测框的位置信息与所述目标对象的位置信息，确定目标对象置信度损失分量；基于所述标对象分类损失分量、所述目标对象预测框损失分量以及所述目标对象置信度损失分量确定所述目标检测损失。
[0007]在一些可能的实施方式中，所述关键点信息包括其对应的关键点的位置信息、类别信息、权重以及置信度真值；所述关键点的置信度真值表征所述关键点是否在其对应的样本图像的内部；在所述关键点在其对应的样本图像的内部的情况下，所述关键点的置信度真值为第一预设值；在所述关键点在其对应的样本图像的外部的情况下，所述关键点的置信度真值为第二预设值。
[0008]在一些可能的实施方式中，所述根据所述关键点信息和所述关键点预测信息之间的差异，确定关键点检测损失，包括：基于所述关键点的置信度、所述关键点的置信度真值以及所述样本图像中关键点的总数量，确定关键点置信度损失分量；确定关键点位置损失分量；基于所述关键点置信度损失分量与所述关键点位置损失分量，确定所述关键点检测损失。
[0009]在一些可能的实施方式中，所述关键点信息还包括所述关键点的可见值，所述可见值表征所述关键点是否被遮挡；在所述关键点未被遮挡的情况下，所述关键点的可见值为第三预设值；在所述关键点被遮挡的情况下，所述关键点的可见值为第四预设值；所述确定关键点位置损失分量包括：确定所述关键点对应的目标对象的大小；基于所述关键点的预测位置信息、位置信息、权重、对应的目标对象的大小、可见值以及所述样本图像中关键点的总数量，确定所述关键点位置损失分量。
[0010]根据本公开的第二方面，提供了一种关键点检测方法，其包括：获取待检测图像；将所述待检测图像输入关键点检测模型，得到关键点；其中，所述关键点检测模型根据本公开的第一方面中任意一项所述的关键点检测模型训练方法得到。
[0011]根据本公开的第三方面，提供一种关键点检测模型训练装置，所述装置包括：样本图像获取模块，用于获取多个样本图像，每一所述样本图像包括对应的标注信息，所述标注信息包括用于表征所述样本图像中的目标对象的标注框信息，以及用于表征目标对象上的关键点信息；检测模块，用于将所述样本图像输入预设模型进行目标检测以及基于目标检测结果的关键点检测,得到样本检测结果，所述样本检测结果包括目标对象预测信息以及关键点预测信息；目标检测损失确定模块，用于根据所述目标对象预测信息和所述标注框信息之间的差异，确定目标检测损失；关键点检测损失确定模块，用于根据所述关键点信息和所述关键点预测信息之间的差异，确定关键点检测损失；参数更新模块，用于根据所述目标检测损失和所述关键点检测损失调节所述预设模型的参数,得到关键点检测模型。
[0012]在一些可能的实施方式中，所述目标对象预测信息包括所述目标对象的预测类别信息、所述目标对象对应的预测框的位置信息与所述预测框的置信度，所述预测框的置信度表征所述预测框内存在所述目标对象的概率；所述关键点预测信息包括所述关键点的预测类别信息、所述关键点的预测位置信息与所述关键点的置信度，所述关键点的置信度表征所述关键点预测的准确程度。
[0013]在一些可能的实施方式中，所述目标对象的标注框信息包括其对应的目标对象的位置信息和类别信息，所述目标检测损失确定模块用于根据所述目标对象预测信息和所述标注框信息之间的差异，确定目标检测损失，包括:基于所述目标对象的预测类别信息与所
述目标对象的类别信息之间的差异，确定目标对象分类损失分量；基于所述目标对象对应的预测框的位置信息与所述目标对象的位置信息之间的差异，确定目标对象预测框损失分量；基于所述检测框的置信度、所述目标对象对应的预测框的位置信息与所述目标对象的位置信息，确定目标对象置信度损失分量；基于所述标对象分类损失分量、所述目标对象预测框损失分量以及所述目标对象置信度损失分量确定所述目标检测损失。
[0014]在一些可能的实施方式中，所述关键点信息包括其对应的关键点的位置信息、类别信息、权重以及置信度真值；所述关键点的置信度真值表征所述关键点是否在其对应的样本图像的内部；在所述关键点在其对应的样本图像的内部的情况下，所述关键点的置信度真值为第一预设值；在所述关键点在其对应的样本图像的外部的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测模型训练方法，其特征在于，所述方法包括：获取多个样本图像，每一所述样本图像包括对应的标注信息，所述标注信息包括用于表征所述样本图像中的目标对象的标注框信息，以及用于表征目标对象上的关键点信息；将所述样本图像输入预设模型进行目标检测以及基于目标检测结果的关键点检测,得到样本检测结果，所述样本检测结果包括目标对象预测信息以及关键点预测信息；根据所述目标对象预测信息和所述标注框信息之间的差异，确定目标检测损失；根据所述关键点信息和所述关键点预测信息之间的差异，确定关键点检测损失；根据所述目标检测损失和所述关键点检测损失调节所述预设模型的参数,得到关键点检测模型。2.根据权利要求1所述的方法，其特征在于，所述目标对象预测信息包括所述目标对象的预测类别信息、所述目标对象对应的预测框的位置信息与所述预测框的置信度，所述预测框的置信度表征所述预测框内存在所述目标对象的概率；所述关键点预测信息包括所述关键点的预测类别信息、所述关键点的预测位置信息与所述关键点的置信度，所述关键点的置信度表征所述关键点预测的准确程度。3.根据权利要求2所述的方法，其特征在于，所述目标对象的标注框信息包括其对应的目标对象的位置信息和类别信息；所述根据所述目标对象预测信息和所述标注框信息之间的差异，确定目标检测损失，包括:基于所述目标对象的预测类别信息与所述目标对象的类别信息之间的差异，确定目标对象分类损失分量；基于所述目标对象对应的预测框的位置信息与所述目标对象的位置信息之间的差异，确定目标对象预测框损失分量；基于所述检测框的置信度、所述目标对象对应的预测框的位置信息与所述目标对象的位置信息，确定目标对象置信度损失分量；基于所述标对象分类损失分量、所述目标对象预测框损失分量以及所述目标对象置信度损失分量确定所述目标检测损失。4.根据权利要求2或3所述的方法，其特征在于，所述关键点信息包括其对应的关键点的位置信息、类别信息、权重以及置信度真值；所述关键点的置信度真值表征所述关键点是否在其对应的样本图像的内部；在所述关键点在其对应的样本图像的内部的情况下，所述关键点的置信度真值为第一预设值；在所述关键点在其对应的样本图像的外部的情况下，所述关键点的置信度真值为第二预设值。5.根据权利要求4所述的方法，其特征在于，所述根据所述关键点信息和所述关键点预测信息之间的差异，确定关键点检测损失，包括：基于所述关键点的置信度、所述关键点的置信度真值以及所述样本图像中关键点的总数量，确定关键点...

【专利技术属性】
技术研发人员：张振林，陈伟民，陈胤子，袁金伟，
申请(专利权)人：中汽创智科技有限公司，
类型：发明
国别省市：