关键点识别模型的生成方法和关键点识别方法技术

技术编号:26479505 阅读:34 留言:0更新日期:2020-11-25 19:24
本公开实施例公开了一种关键点识别模型的生成方法和装置、关键点识别方法和装置、计算机可读存储介质及电子设备,其中,关键点识别模型的生成方法包括:基于初始模型包括的热力图生成模块,生成样本图像对应的热力图集合;基于初始模型包括的预测矢量转换模块,将热力图集合中的热力图转换为预测矢量;基于关键点集合中的关键点的位置信息,确定关键点集合中的关键点对应的监督矢量;基于预测矢量和监督矢量,对初始模型进行训练,得到关键点识别模型。本公开实施例可以提高模型训练的收敛速度,以及提高训练后的模型的识别准确性和效率。

【技术实现步骤摘要】
关键点识别模型的生成方法和关键点识别方法
本公开涉及计算机
,尤其是一种关键点识别模型的生成方法和装置、关键点识别方法和装置、计算机可读存储介质及电子设备。
技术介绍
关键点检测技术是指从诸如人脸图像、人体图像等各种图像中,确定具有某种关键特征的点(例如眼角、鼻尖等部位)的技术。目前的关键点检测方法可以分为:传统方法、基于坐标回归的CNN(卷积神经网络,ConvolutionalNeuralNetworks)方法,基于热力图(heatmap)回归的CNN方法等。
技术实现思路
本公开的实施例提供了一种关键点识别模型的生成方法和装置、关键点识别方法和装置、计算机可读存储介质及电子设备。本公开的实施例提供了一种关键点识别模型的生成方法,该方法包括:基于初始模型包括的热力图生成模块,生成样本图像对应的热力图集合,其中,热力图集合中的热力图表征目标对象上的预测关键点的位置,样本图像具有预先标注的表征目标对象上的关键点集合中的关键点的位置信息;基于初始模型包括的预测矢量转换模块,将热力图集合中的热力图转换为预测矢量;基于本文档来自技高网...

【技术保护点】
1.一种关键点识别模型的生成方法,包括:/n基于初始模型包括的热力图生成模块,生成样本图像对应的热力图集合,其中,所述热力图集合中的热力图表征所述目标对象上的预测关键点的位置,所述样本图像具有预先标注的表征所述目标对象上的关键点集合中的关键点的位置信息;/n基于所述初始模型包括的预测矢量转换模块,将所述热力图集合中的热力图转换为预测矢量;/n基于所述关键点集合中的关键点的位置信息,确定所述关键点集合中的关键点对应的监督矢量;/n基于所述预测矢量和所述监督矢量,对所述初始模型进行训练,得到关键点识别模型。/n

【技术特征摘要】
1.一种关键点识别模型的生成方法,包括:
基于初始模型包括的热力图生成模块,生成样本图像对应的热力图集合,其中,所述热力图集合中的热力图表征所述目标对象上的预测关键点的位置,所述样本图像具有预先标注的表征所述目标对象上的关键点集合中的关键点的位置信息;
基于所述初始模型包括的预测矢量转换模块,将所述热力图集合中的热力图转换为预测矢量;
基于所述关键点集合中的关键点的位置信息,确定所述关键点集合中的关键点对应的监督矢量;
基于所述预测矢量和所述监督矢量,对所述初始模型进行训练,得到关键点识别模型。


2.根据权利要求1所述的方法,其中,所述基于所述初始模型包括的预测矢量转换模块,将所述热力图集合中的热力图转换为预测矢量,包括:
对于所述热力图集合中的每个热力图,对该热力图进行第一方向和第二方向上的降维操作,分别得到该热力图对应的第一预测矢量和第二预测矢量;
所述基于所述关键点集合中的关键点的位置信息,确定所述关键点集合中的关键点对应的监督矢量,包括:
基于所述关键点集合中的关键点的位置信息包括的第一方向和第二方向的坐标,确定所述关键点集合中的关键点对应的第一监督矢量和第二监督矢量。


3.根据权利要求2所述的方法,其中,所述对该热力图进行第一方向和第二方向上的降维操作,分别得到该热力图对应的第一预测矢量和第二预测矢量,包括:
获取预设数量组降维核,其中,所述预设数量组降维核中的每组降维核包括对应于所述第一方向的第一降维核和对应于所述第二方向的第二降维核;
基于所述预设数量组降维核,对该热力图进行降维操作,得到所述预设数量组降维核中的每组降维核对应的第一子预测矢量和第二子预测矢量;
基于所述每组降维核对应的预设权重,对各个第一子预测矢量和各个第二子预测矢量分别进行加权求和,得到该热力图对应的第一预测矢量和第二预测矢量。


4.根据权利要求2所述的方法,其中,所述基于所述关键点集合中的关键点的位置信息包括的第一方向和第二方向的坐标,确定所述关键点集合中的关键点对应的第一监督矢量和第二监督矢量,包括:
对于所述关键点集合中的每个关键点,基于该关键点的位置信息包括的第一方向的坐标和第二方向的坐标,确定该关键点对应的热力图上的坐标;
确定该关键点对应的第一监督矢量中的每个元素与该关键点对应的热力图上的第一坐标之间的第一距离,以及确定该关键点对应的第二监督矢量中的每个元素与该关键点对应的热力图上的第二坐标之间的第二距离;
基于所述第一距离和所述第二距离,确定该关键点对应的第一监督矢量和第二监督矢量。


5.一种关键点识别方法,包括:
获取包括目标对象的待识别图像;
将所述待识别图像输入预先训练的关键点识别模型包括的热力图生成模块,得到热力图集合,其...

【专利技术属性】
技术研发人员:窦宇豪苏治中
申请(专利权)人:南京地平线机器人技术有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1