关键点检测方法及设备技术

本公开实施例提供一种关键点检测方法及设备，该方法包括：确定目标图像；通过关键点检测模型中的第一网络，对目标图像进行关键点坐标检测，得到目标图像的预测关键点坐标；其中，关键点检测模型中还包括第二网络，第二网络用于基于第一网络输出的关键点坐标和第一网络提取的特征图生成相应的关键点热力图，在关键点检测模型的多次训练过程中，第二网络输出的关键点热力图用于辅助提高第一网络的关键点预测精度。从而，在关键点检测模型中，在利用图像的关键点坐标检测确保图像的关键点检测效率的同时，利用图像的关键点热力图预测提高图像的关键点坐标检测的精度，实现关键点检测效率和关键点检测精度的兼顾。率和关键点检测精度的兼顾。率和关键点检测精度的兼顾。

【技术实现步骤摘要】
关键点检测方法及设备


[0001]本公开实施例涉及计算机
，尤其涉及一种关键点检测方法及设备。

技术介绍

[0002]关键点检测任务是指通过神经网络在给定图像中预测得到目标对象上的关键点。例如，人脸关键点检测任务是通过神经网络在给定的人脸图像中预测得到人脸关键点，其中，人脸关键点是人为先验定义的一些点位，例如眉毛点位、眼角点位、人脸轮廓点位。
[0003]目前，基于热力图的关键点检测方法在关注图像的全局特征和几何信息的基础上进行关键点检测，检测精度较高。然而，该方法为了保证图像的分辨率，对图像进行了上采样或者多阶特征融合操作，导致网络结构较深，计算量较大且推理时间较长。
[0004]因此，如何兼顾关键点的检测精度和检测效率是亟需解决的问题。

技术实现思路

[0005]本公开实施例提供一种关键点检测方法及设备，以克服图像中关键点检测精度和关键点检测效率难以兼顾的问题。
[0006]第一方面，本公开实施例提供一种关键点检测方法，包括：
[0007]确定目标图像；
[0008]通过关键点检测模型中的第一网络，对目标图像进行关键点坐标检测，得到目标图像的预测关键点坐标；
[0009]其中，关键点检测模型中还包括第二网络，第二网络用于基于第一网络输出的关键点坐标和第一网络提取的特征图生成相应的关键点热力图，在关键点检测模型的训练过程中，第二网络输出的关键点热力图用于辅助提高第一网络的关键点预测精度。
[0010]第二方面，本公开实施例提供一种模型训练方法，包括：
[0011]确定训练数据，训练数据包括训练图像和训练图像对应的样本标签；
[0012]根据训练数据，对关键点检测模型进行训练；
[0013]其中，关键点检测模型包括第一网络和第二网络，第一网络用于对图像进行关键点坐标检测，第二网络用于基于第一网络输出的关键点坐标和第一网络提取的特征图生成相应的关键点热力图，在关键点检测模型的训练过程中，第二网络输出的关键点热力图用于辅助提高第一网络的关键点预测精度。
[0014]第三方面，本公开实施例提供一种关键点检测设备，包括：
[0015]确定单元，用于确定目标图像；
[0016]检测单元，用于通过关键点检测模型中的第一网络，对目标图像进行关键点坐标检测，得到目标图像的预测关键点坐标；
[0017]其中，关键点检测模型中还包括第二网络，第二网络用于基于第一网络输出的关键点坐标和第一网络提取的特征图生成相应的关键点热力图，在关键点检测模型的训练过程中，第二网络输出的关键点热力图用于辅助提高第一网络的关键点预测精度。
[0018]第四方面，本公开实施例提供一种模型训练设备，包括：
[0019]确定单元，用于确定训练数据，训练数据包括训练图像和训练图像对应的样本标签；
[0020]训练单元，用于根据训练数据，对关键点检测模型进行训练；
[0021]其中，关键点检测模型包括第一网络和第二网络，第一网络用于对图像进行关键点坐标检测，第二网络用于基于第一网络输出的关键点坐标和第一网络提取的特征图生成相应的关键点热力图，在关键点检测模型的训练过程中，第二网络输出的关键点热力图用于辅助提高第一网络的关键点预测精度。
[0022]第五方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上第一方面或第一方面各种可能的设计所述的关键点检测方法，或者，执行如第二方面或第二方面各种可能的设计所述的模型训练方法。
[0023]第六方面，本公开实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上第一方面或第一方面各种可能的设计所述的关键点检测方法，或者，实现如第二方面或第二方面各种可能的设计所述的模型训练方法。
[0024]第七方面，根据本公开的一个或多个实施例，提供了一种计算机程序产品，计算机程序产品包含计算机执行指令，当处理器执行计算机执行指令时，实现如上第一方面或第一方面各种可能的设计所述的关键点检测方法，或者，实现如第二方面或第二方面各种可能的设计所述的模型训练方法。
[0025]本公开实施例提供的关键点检测方法及设备，通过关键点检测模型中的第一网络，对目标图像进行关键点坐标检测，得到目标图像的预测关键点坐标。其中，关键点检测模型中还包括第二网络，第二网络用于基于第一网络输出的关键点坐标和第一网络提取的特征图生成相应的关键点热力图，在关键点检测模型的训练过程中，第二网络输出的关键点热力图用于提高第一网络的关键点检测精度。
[0026]因此，本公开实施例考虑到用于关键点坐标预测的网络的结构较小，关键点检测效率较高，而用于关键点热力图预测的网络的结构较深，关键点检测精度较高，基于该两者的互补性，设计包含用于关键点坐标检测的第一网络和用于关键点热力图生成的第二网络的关键点检测模型，在关键点检测模型的训练过程中，利用第二网络输出的关键点热力图提高第一网络的关键点检测精度。从而，在关键点检测中，利用第一网络既保证了关键点检测效率，又提高了关键点检测精度，实现关键点检测效率和关键点检测精度的兼顾。
附图说明
[0027]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为本公开实施例提供的一种应用场景的示例图；
[0029]图2为本公开实施例提供的关键点检测模型的结构示意图一；
[0030]图3为本公开实施例提供的关键点检测方法流程示意图一；
[0031]图4为本公开实施例提供的模型训练方法的流程示意图；
[0032]图5为本公开实施例提供的关键点检测模型的一次训练过程的流程示意图一；
[0033]图6为本公开实施例提供的关键点检测模型的一次训练过程的流程示意图二；
[0034]图7为本公开实施例提供的关键点检测模型的结构示意图二；
[0035]图8为本公开实施例提供的关键点检测模型的一次训练过程的流程示意图三；
[0036]图9为本公开实施例提供的关键点检测设备的结构框图；
[0037]图10为本公开实施例提供的模型训练设备的结构框图；
[0038]图11为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0039]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测方法，包括：确定目标图像；通过关键点检测模型中的第一网络，对所述目标图像进行关键点坐标检测，得到所述目标图像的预测关键点坐标；其中，所述关键点检测模型中还包括第二网络，所述第二网络用于基于所述第一网络输出的关键点坐标和所述第一网络提取的特征图生成相应的关键点热力图，在所述关键点检测模型的训练过程中，所述第二网络输出的关键点热力图用于辅助提高所述第一网络的关键点预测精度。2.根据权利要求1所述的关键点检测方法，所述关键点检测模型的训练过程为多次训练，其中，所述关键点检测模型的一次训练过程包括：通过所述第一网络，对训练图像进行关键点坐标检测，得到所述训练图像的预测关键点坐标和所述训练图像的特征图；根据所述训练图像的预测关键点坐标，在所述训练图像上确定多个预测关键点，得到所述训练图像的初始预测关键点热力图；通过所述第二网络，对所述训练图像的初始预测关键点热力图和所述训练图像的特征图进行特征提取，得到所述训练图像的预测关键点热力图；根据所述训练图像的实际关键点坐标与所述训练图像的预测关键点坐标的差异以及所述训练图像的实际关键点热力图与所述训练图像的预测关键点热力图的差异，调整所述第一网络的参数。3.根据权利要求2所述的关键点检测方法，所述第一网络包括多个下采样层和坐标回归层，所述第二网络包括多个上采样层，所述根据所述训练图像的预测关键点坐标，在所述训练图像上确定多个预测关键点，得到所述训练图像的初始预测关键点热力图，包括：将所述训练图像的初始预测关键点热力图和所述第一网络中最后一个下采样层输出的所述训练图像的特征图进行特征融合后得到的特征图，输入至所述第二网络中的第一个上采样层中进行上采样处理；将所述训练图像的初始预测关键点热力图和所述第一个上采样层输出的特征图进行特征融合后得到的特征图，输入下一上采样层中进行上采样处理，经过多个上采样层后，得到所述训练图像的预测关键点热力图。4.根据权利要求2或3所述的关键点检测方法，所述通过所述第二网络，对所述训练图像的初始预测关键点热力图和所述训练图像的特征图进行特征提取，得到所述训练图像的预测关键点热力图之后，还包括：根据所述训练图像的实际关键点热力图与所述训练图像的预测关键点热力图的差异，调整所述第二网络的参数。5.根据权利要求1至3中任一项所述的关键点检测方法，所述通过关键点检测模型中的第一网络，对所述目标图像进行关键点坐标检测，得到所述目标图像的预测关键点坐标之后，还包括：根据所述目标图像的预测关键点坐标，在所述目标图像上确定多个预测关键点，得到所述目标图像的初始预测关键点热力图；通过所述第二网络，对所述目标图像的初始预测关键点热力图和在所述目标图像的关
键点坐标检测中提取到的特征图进行特征提取，得到所述目标图像的预测关键点热力图。6.一种模型训练方法，包括：确定训练数据，所述训练数据包括训练图像和训练图像对应的样本标签；根据所述训练数据，对关键点检测模型进行训练；其中，所述关键点检测模型包括第一网络和第二网络，所述第一网络用于对图像进行关键点坐标检测，所述第二网络用于基于所述第一网络输出的关键点坐标和第一网络提取的特征图生成相应的关键点热力图，在所述关键点检测模型的训练过程中，所述第二网络输出的关键点热力图用于辅助提高所述第一网络的关键点预测精度。7.根据权利要求6所述的模型训练方法，所述样本标签包括所述训练图像的实际关键点坐标和所述训练图像的实际关键点热力图，所述关键点检测...

【专利技术属性】
技术研发人员：李啸，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：