关键点检测及检测网络训练的方法、电子设备和存储介质技术

本发明专利技术实施例涉及神经网络领域，公开了一种关键点检测及检测网络训练的方法、电子设备和存储介质。本发明专利技术中，获取预设的关键点模板、训练样本图像和所述训练样本图像对应的样本关键点，所述关键点模板为预先构建的初始关键点检测网络输出结果的形状标准；通过所述初始关键点检测网络，结合所述训练样本图像和所述关键点模板获得训练检测关键点；根据所述训练检测关键点和所述样本关键点对所述初始关键点检测网络进行迭代训练，并将满足预设迭代条件的所述初始关键点检测网络作为训练完成的关键点检测网络。提供了关键点模板作为先验，保证关键点形状正常，提高关键点检测的准确性。

【技术实现步骤摘要】
关键点检测及检测网络训练的方法、电子设备和存储介质
本专利技术实施例涉及神经网络领域，特别涉及关键点检测及检测网络训练的方法、电子设备和存储介质。
技术介绍
传统的对图像关键点进行检测的方法通常采用卷积神经网络对图像结合热图（HeatMap）获取与图像对应的关键点。其中，HeatMap可以用颜色变化来反映二维矩阵或表格中的数据信息，它可以直观地将数据值的大小以定义的颜色深浅表示出来。常根据需要将数据进行物种或样品间丰度相似性聚类，将聚类后数据表示在HeatMap图上，可将高丰度和低丰度的物种分块聚集，通过颜色梯度及相似程度来反映多个样品在各分类水平上群落组成的相似性和差异性，进而得到待检测图像的关键点。然而，专利技术人发现传统方式直接对图像采取机械的关键点提取，可能导致关键点形状异常，超出了原有的待检测物体的形状范围，致使关键点检测的不够准确。
技术实现思路
本专利技术实施方式的目的在于提供一种关键点检测及检测网络训练的方法、电子设备和存储介质，提供了关键点模板作为先验，保证关键点形状正常，提高关键点检测的准确性。为解决上述技术问题，本专利技术的实施方式提供了一种关键点检测网络训练方法，包括以下步骤：获取预设的关键点模板、训练样本图像和训练样本图像对应的样本关键点，关键点模板为预先构建的初始关键点检测网络输出结果的形状标准；通过初始关键点检测网络，结合训练样本图像和关键点模板获得训练检测关键点；根据训练检测关键点和样本关键点对初始关键点检测网络进行迭代训练，并将满足预设迭代条件的初始关键点检测网络作为训练完成的关键点检测网络。本专利技术的实施方式还提供了一种关键点检测方法，包括：将第一检测图像输入第一关键点检测网络获取第一检测关键点；通过第一检测关键点获取第二检测图像；将第二检测图像输入第二关键点检测网络获取第二检测关键点，作为关键点检测的结果，其中，第一关键点检测网络和第二关键点检测网络至少包括关键点检测网络和关键点模板。本专利技术的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的关键点检测网络训练方法或关键点检测方法。本专利技术的实施方式还提供了一种计算机可读存储介质，计算机程序被处理器执行时实现执行上述的关键点检测网络训练方法或关键点检测方法。本专利技术实施方式提供的关键点检测及检测网络训练的方法、电子设备和存储介质，采用预先设置的关键点模板作为关键点的先验，避免了检测的关键点出现异常形状，提高了检测关键点形状的稳定性。由于具有关键点模板，因此后续的网络训练实际上是在通过关键点模板校正了检测关键点形状后与样本关键点计算的残差，提高了检测结果的准确性，降低了网络训练的难度。另外，本专利技术实施方式提供的关键点检测网络训练方法，通过初始关键点检测网络，结合训练样本图像和关键点模板获得训练检测关键点，包括：通过初始关键点检测网络，结合训练样本图像和关键点模板，确定第一训练检测关键点；通过初始关键点检测网络中预设的网络节点，结合训练样本图像，确定第二训练检测关键点；根据第一训练检测关键点和第二训练检测关键点，确定训练检测关键点。采用两次网络计算关键点，使检测的关键点更为准确。另外，本专利技术实施方式提供的关键点检测网络训练方法，通过初始关键点检测网络，结合训练样本图像和关键点模板，确定第一训练检测关键点，包括：将训练样本图像输入初始关键点检测网络，得到训练样本图像对应的关键点分类概率；根据关键点分类概率和关键点模板，确定第一训练检测关键点。通过计算分布概率和关键点模板，获得了形状正常的关键点。另外，本专利技术实施方式提供的关键点检测网络训练方法，根据训练检测关键点和样本关键点对初始关键点检测网络进行迭代训练，并将满足预设迭代条件的初始关键点检测网络作为训练完成的关键点检测网络，包括：通过关键点损失函数和样本关键点分别对第一训练检测关键点和第二训练检测关键点计算损失，得到关键点损失值，关键点损失值包括第一训练检测关键点对应的损失值和第二训练检测关键点对应的损失值；获取训练样本图像对应的预设属性的权重；通过属性损失函数计算预设属性的权重的损失，得到属性损失值；根据关键点损失值和属性损失值对初始关键点检测网络进行迭代训练，并将满足预设迭代条件的初始关键点检测网络作为训练完成的关键点检测网络。对每个训练检测关键点分别计算回归损失，使训练过程更加稳定和充分。另外，本专利技术实施方式提供的关键点检测网络训练方法，获取训练样本图像对应的预设属性的权重，包括：获取训练样本图像的预设属性的分布概率，预设属性至少包括遮挡属性和旋转属性；根据分布概率获得训练样本图像的属性权重。为图像设置属性权重，避免由于训练样本的属性原因，导致训练关键点网络对某些属性产生偏好的情况发生，提高关键点检测网络预测结果的准确性。另外，本专利技术实施方式提供的关键点检测网络训练方法，获取训练样本图像，包括：对样本图像进行随机遮挡和/或随机变换，以获得训练样本图像。为样本图像人为的添加遮挡，使得训练后的关键点检测网络可以适用于更多情景的应用场景。另外，本专利技术实施方式提供的关键点检测方法，第一关键点检测网络还包括修正网络，将第一检测图像输入第一关键点检测网络获取第一检测关键点，包括：将第一检测图像输入修正网络，获取修正后的第一检测图像，修正网络至少用于修正姿态误差和位置误差；通过第一关键点检测网络，结合修正后的第一检测图像，得到第一检测关键点。预先对图像进行姿态修正和位置修正，使关键点检测网络检测的关键点更加准确。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是本专利技术的实施方式提供的关键点检测网络训练方法的流程图；图2是本专利技术的实施方式提供的关键点检测方法的流程图；图3是本专利技术的实施方式提供的关键点检测网络训练装置的结构示意图；图4是本专利技术的实施方式提供的关键点检测装置的结构示意图；图5是本专利技术的实施方式提供的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本专利技术的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。本专利技术的实施方式涉及一种关键点检测网络训练方法。具体流程如图1所示。步骤101，获取预设的关键点模板、训练样本图像和训练样本图像对应的样本关键点，关键点模板为本文档来自技高网...

【技术保护点】
1.一种关键点检测网络训练方法，其特征在于，包括：/n获取预设的关键点模板、训练样本图像和所述训练样本图像对应的样本关键点，所述关键点模板为预先构建的初始关键点检测网络输出结果的形状标准；/n通过所述初始关键点检测网络，结合所述训练样本图像和所述关键点模板获得训练检测关键点；/n根据所述训练检测关键点和所述样本关键点对所述初始关键点检测网络进行迭代训练，并将满足预设迭代条件的所述初始关键点检测网络作为训练完成的关键点检测网络。/n

【技术特征摘要】
1.一种关键点检测网络训练方法，其特征在于，包括：
获取预设的关键点模板、训练样本图像和所述训练样本图像对应的样本关键点，所述关键点模板为预先构建的初始关键点检测网络输出结果的形状标准；
通过所述初始关键点检测网络，结合所述训练样本图像和所述关键点模板获得训练检测关键点；
根据所述训练检测关键点和所述样本关键点对所述初始关键点检测网络进行迭代训练，并将满足预设迭代条件的所述初始关键点检测网络作为训练完成的关键点检测网络。


2.根据权利要求1所述的关键点检测网络训练方法，其特征在于，所述通过所述初始关键点检测网络，结合所述训练样本图像和所述关键点模板获得训练检测关键点，包括：
通过所述初始关键点检测网络，结合所述训练样本图像和所述关键点模板，确定第一训练检测关键点；
通过所述初始关键点检测网络中预设的网络节点，结合所述训练样本图像，确定第二训练检测关键点；
根据所述第一训练检测关键点和所述第二训练检测关键点，确定所述训练检测关键点。


3.根据权利要求2所述的关键点检测网络训练方法，其特征在于，所述通过所述初始关键点检测网络，结合所述训练样本图像和所述关键点模板，确定第一训练检测关键点，包括：
将所述训练样本图像输入所述初始关键点检测网络，得到所述训练样本图像对应的关键点分类概率；
根据所述关键点分类概率和所述关键点模板，确定所述第一训练检测关键点。


4.根据权利要求2所述的关键点检测网络训练方法，其特征在于，所述根据所述训练检测关键点和所述样本关键点对所述初始关键点检测网络进行迭代训练，并将满足预设迭代条件的所述初始关键点检测网络作为训练完成的关键点检测网络，包括：
通过关键点损失函数和所述样本关键点分别对所述第一训练检测关键点和所述第二训练检测关键点计算损失，得到关键点损失值，所述关键点损失值包括所述第一训练检测关键点对应的损失值和所述第二训练检测关键点对应的损失值；
获取所述训练样本图像对应的预设属性的权重；
通过属性损失函数计算所述预设属性的权重的损失，得到属性损失值；
根据所述关键点损失值和所述属性损失值对所述初始关键点检测网络进行迭代训练，并将满足所述预设迭代条...

【专利技术属性】
技术研发人员：保长存，朱海涛，陈智超，江坤，户磊，
申请(专利权)人：北京的卢深视科技有限公司，合肥的卢深视科技有限公司，
类型：发明
国别省市：北京;11