模型的训练方法、关键点定位方法、装置、设备和介质制造方法及图纸

本申请公开一种人体关键点定位模型的训练方法、人体关键点定位方法、装置、设备、介质和程序产品，涉及人工智能领域，尤其涉及深度学习和计算机视觉技术。实现方案为：利用定位模型的第一子网络确定各关键点的初始定位点；根据初始定位点的位置获取各关键点的N个候选点；利用定位模型的第二子网络提取样本图像的第二特征图，根据第二特征图和候选点组成N组图结构特征数据；利用第二子网络对每组图结构特征数据进行图卷积得到N组各关键点的偏移量；利用偏移量修正初始定位点得到N组各关键点的定位结果；根据各关键点的标注真值和每组定位结果分别计算损失值，根据每组损失值对定位模型进行监督训练。本申请提高了关键点定位的准确性和鲁棒性。

【技术实现步骤摘要】
模型的训练方法、关键点定位方法、装置、设备和介质
本申请涉及人工智能领域，尤其涉及深度学习和计算机视觉技术，具体涉及一种人体关键点定位模型的训练方法、人体关键点定位方法、装置、设备、介质和程序产品。
技术介绍
目前，人体关键点定位的主要实现方案，通常是使用深度神经网络作为特征提取器，然后基于特征图生成各个关键点的热力图，根据热力图上的最大响应位置粗略定位关键点。然而，当图像中的人体关键点存在遮挡、特征不明显或是存在其他更相似的干扰区域时，使用现有技术则难以定位，或者出现定位错误。
技术实现思路
本申请提供一种人体关键点定位模型的训练方法、人体关键点定位方法、装置、设备、介质和程序产品，以提高人体关键点定位的准确性和鲁棒性。第一方面，本申请提供了一种人体关键点定位模型的训练方法，包括：利用预先搭建的定位模型中的第一子网络，确定样本图像中各关键点的初始定位点；根据所述初始定位点在所述样本图像中的位置，分别获取各关键点的N个候选点，其中，N为自然数；利用所述定位模型中的第二子网络提取所述样本本文档来自技高网...

【技术保护点】
1.一种人体关键点定位模型的训练方法，包括：/n利用预先搭建的定位模型中的第一子网络，确定样本图像中各关键点的初始定位点；/n根据所述初始定位点在所述样本图像中的位置，分别获取各关键点的N个候选点，其中，N为自然数；/n利用所述定位模型中的第二子网络提取所述样本图像的第二特征图，并根据所述第二特征图和N个候选点，组成N组图结构特征数据，其中，每组图结构特征数据中包括每个关键点的任一候选点在所述第二特征图中对应的特征向量；/n利用所述第二子网络分别对所述每组图结构特征数据进行图卷积，得到N组所述各关键点的偏移量；/n分别利用N组所述各关键点的偏移量修正所述初始定位点，得到N组所述各关键点的当前定...

【技术特征摘要】
1.一种人体关键点定位模型的训练方法，包括：
利用预先搭建的定位模型中的第一子网络，确定样本图像中各关键点的初始定位点；
根据所述初始定位点在所述样本图像中的位置，分别获取各关键点的N个候选点，其中，N为自然数；
利用所述定位模型中的第二子网络提取所述样本图像的第二特征图，并根据所述第二特征图和N个候选点，组成N组图结构特征数据，其中，每组图结构特征数据中包括每个关键点的任一候选点在所述第二特征图中对应的特征向量；
利用所述第二子网络分别对所述每组图结构特征数据进行图卷积，得到N组所述各关键点的偏移量；
分别利用N组所述各关键点的偏移量修正所述初始定位点，得到N组所述各关键点的当前定位结果；
根据所述各关键点的标注真值和每组当前定位结果分别计算损失值，并分别根据每组损失值对所述定位模型进行监督训练。


2.根据权利要求1所述的方法，其中，所述利用预先搭建的定位模型中的第一子网络，确定样本图像中各关键点的初始定位点，包括：
利用所述第一子网络对所述样本图像进行特征提取，得到第一特征图；
根据所述第一特征图生成所述各关键点的热力图，并根据各关键点的热力图上点的响应程度，确定所述各关键点的初始定位点。


3.根据权利要求1所述的方法，其中，所述根据所述初始定位点在所述样本图像中的位置，分别获取各关键点的N个候选点，包括：
根据所述初始定位点在所述样本图像中的位置，确定所述初始定位点的坐标；
基于所述初始定位点的坐标，在所述初始定位点周围获取各关键点的N个候选点。


4.根据权利要求1所述的方法，其中，所述利用所述第二子网络分别对所述每组图结构特征数据进行图卷积，包括：
利用所述第二子网络，根据表示人体各关键点之间结构关系的邻接矩阵，分别对所述每组图结构特征数据进行图卷积。


5.根据权利要求1所述的方法，其中，所述分别利用N组所述各关键点的偏移量修正所述初始定位点，得到N组所述各关键点的当前定位结果，包括：
分别将N组所述各关键点的偏移量与所述初始定位点的位置相加，得到N组所述各关键点的当前定位结果。


6.一种人体关键点定位方法，包括：
通过预先训练的定位模型中的第一子网络，确定输入图像中人体各关键点的初始定位点；
通过所述定位模型中的第二子网络，根据所述初始定位点的相邻关键点的特征之间的语义关系，确定所述各关键点的偏移量；
利用所述偏移量分别对所述各关键点的初始定位点进行修正，并将修正结果作为所述输入图像中人体各关键点的目标定位点。


7.根据权利要求6所述的方法，其中，所述通过预先训练的定位模型中的第一子网络，确定输入图像中人体各关键点的初始定位点，包括：
通过所述第一子网络提取所述输入图像的一阶段特征图；
根据所述一阶段特征图生成所述各关键点的热力图，并根据各关键点的热力图上点的响应程度，确定所述各关键点的初始定位点。


8.根据权利要求6所述的方法，其中，所述通过所述定位模型中的第二子网络，根据所述初始定位点的相邻关键点的特征之间的语义关系，确定所述各关键点的偏移量，包括：
通过所述第二子网络提取所述输入图像的二阶段特征图；
根据所述初始定位点在所述输入图像中的位置，获取所述初始定位点在所述二阶段特征图上的特征向量；
对所述初始定位点的特征向量组成的图结构特征数据进行图卷积，得到所述各关键点的偏移量。


9.根据权利要求6所述的方法，其中，所述利用所述偏移量分别对所述各关键点的初始定位点进行修正，包括：
将所述各关键点的偏移量分别与对应的初始定位点的位置相加。


10.根据权利要求6-9中任一项所述的方法，其中，所述定位模型是按照如权利要求1-5中任一项所述的训练方法训练得到。


11.一种人体关键点定位模型的训练装置，包括：
初始定位点第一确定模块，用于利用预先搭建的定位模型中的第一子网络，确定样本图像中各关键点的初始定位点；
候选点获取模块，用于根据所述初始定位点在所述样本图像中的位置，分别获取各关键点的N个候选点，其中，N为自然数；
图结构特征数据获取模块，用于利用所述定位模型中的第二子网络提取所述样本图像的第二特征图，并根据所述第二特征图和N个候选点，组成N组图结构特征数据，其中，每组图结构特征数据中包括每个关键点的任一候选点在所述第二特征图中对应的特征向量；
图卷积模块，用于利用所述第二子网络分别对所述每组图结构特征数据进行图卷积，得到N组所述各关键点的偏移量；
定位点修...

【专利技术属性】
技术研发人员：王健，卢子鹏，孙昊，金智勇，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11