关键点检测方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种关键点检测方法、装置、电子设备及存储介质，该方法包括：获取待检测图像；基于待检测图像，生成图像特征图和多个关键点热图；图像特征图用于表征待检测图像中各个目标对象之间的相对位置关系；每个关键点热图中包含待检测图像的一种类别的关键点，不同类别的关键点对应目标对象的不同部位；基于图像特征图和多个关键点热图，生成初始关键点图模型；初始关键点图模型中包含待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；对初始关键点图模型进行多次连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。

【技术实现步骤摘要】
关键点检测方法、装置、电子设备及存储介质
本公开涉及图像处理
，具体而言，涉及一种关键点检测方法、装置、电子设备及存储介质。
技术介绍
人体关键点检测和跟踪是视频分析的基础，在安防领域、动作分析领域具有重要的应用前景。自底向上的多人姿态检测技术，由于具有较高的计算效率，而被广泛应用。一般的，自底向上方法首先预测得到各个关键点的位置，再对各个关键点进行聚类，得到完整的人体姿态。当前的方法中，可以采用图分割算法或者启发式的聚类算法，对各个关键点进行聚类，聚类过程只是作为后处理操作，并没有直接对聚类结果进行监督，使得关键点聚类过程的准确度较低。
技术实现思路
有鉴于此，本公开至少提供一种关键点检测方法、装置、电子设备及存储介质。第一方面，本公开提供了一种关键点检测方法，包括：获取待检测图像；基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目本文档来自技高网...

【技术保护点】
1.一种关键点检测方法，其特征在于，包括：/n获取待检测图像；/n基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；/n基于所述图像特征图和多个所述关键点热图，生成初始关键点图模型；所述初始关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；/n对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属...

【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：
获取待检测图像；
基于所述待检测图像，生成图像特征图和多个关键点热图；所述图像特征图用于表征所述待检测图像中各个目标对象之间的相对位置关系；每个所述关键点热图中包含所述待检测图像的一种类别的关键点，不同类别的关键点对应所述目标对象的不同部位；
基于所述图像特征图和多个所述关键点热图，生成初始关键点图模型；所述初始关键点图模型中包含所述待检测图像中不同类别的关键点的信息以及连接边的信息，每个连接边为两个不同类别的关键点之间的边；
对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，得到分别属于各个目标对象的关键点信息。


2.根据权利要求1所述的方法，其特征在于，所述关键点的信息包括位置信息、类别信息、以及像素特征信息；
根据以下步骤确定所述初始关键点图模型中各个关键点的信息：
基于所述关键点热图，确定各个关键点的位置信息；
基于每个所述关键点的位置信息，从所述图像特征图中提取所述关键点的像素特征信息，并基于所述关键点所属关键点热图的类别标签，确定所述关键点对应的类别信息。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
针对所述初始关键点图模型中的每个所述关键点，基于所述关键点的信息和所述关键点图模型中与所述关键点之间存在连接边的其他关键点的信息，确定所述关键点的融合特征；
所述对所述初始关键点图模型进行多次所述连接边的剪枝处理，包括：
基于所述初始关键点图模型中包含的每个所述关键点的融合特征，对所述初始关键点图模型进行多次所述连接边的剪枝处理。


4.根据权利要求1～3任一所述的方法，其特征在于，所述对所述初始关键点图模型进行多次所述连接边的剪枝处理，直到处理后的关键点图模型中的多个关键点被聚类为多个簇，包括：
针对当前关键点图模型执行第一处理过程：
基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点；其中，所述宏节点中包括聚类后的多个相邻关键点；并基于每个所述宏节点中包括的关键点的融合特征，确定所述宏节点的融合特征；
基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型；
在执行完当前次的所述第一处理过程之后，将当前次剪枝处理后的关键点图模型作为当前关键点图模型，将当前次确定的所述宏节点以及所述宏节点的融合特征作为所述当前关键图模型中的关键点以及关键点的融合特征，并再次执行所述第一处理过程，直到处理后的关键点图模型中的多个关键点被聚类为多个簇。


5.根据权利要求4所述的方法，其特征在于，所述基于所述当前关键点图模型中的每条连接边对应的两个关键点的融合特征，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点，包括：
基于所述连接边对应的两个关键点的融合特征，确定所述连接边的权重，所述权重表征所述连接边对应的两个关键点属于同一目标对象的概率；
基于所述当前关键点图模型中包括的每条连接边的权重，对所述当前关键点图模型包括的多个关键点中相邻关键点进行同一目标对象的关键点聚类，得到至少一个宏节点。


6.根据权利要求4所述的方法，其特征在于，所述基于得到的至少一个所述宏节点和所述当前关键点图模型，对所述当前关键点图模型进行当前次所述连接边的剪枝处理，并得到当前次剪枝处理后的关键点图模型，包括：
基于得到的至少一个所述宏节点和所述当前关键点图模型，确定待删减连接边，并从所述当前关键点图模型中将所述待删减连接边删除；
将至少一个所述宏节点、和所述当前关键点图模型中除所述宏节点中包括的关键点之外的其他关键点作为剪枝处理后的关键点，将删除后剩余的连接边作为剪枝处理后的连接边，得到当前次剪枝处理后的关键点图模型。


7.根据权利要求6所述的方法，其特征在于，所述基于得到的至少一个宏节点和所述当前关键点图模型，确定待删减连接边，包括：
基于至少一个宏节点中包括的每个关键点的类别信息、以及所述当前关键点图模型中除至少一个宏节点中包括的...

【专利技术属性】
技术研发人员：金晟，刘文韬，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11