一种关键点检测方法及装置、存储介质制造方法及图纸

技术编号:24855376 阅读:23 留言:0更新日期:2020-07-10 19:08
本申请实施例公开了一种关键点检测方法及装置、存储介质,方法包括:利用基础网络对输入图像进行下采样,得到浅层特征图像和深层特征图像;利用关键点位置预测模型,对浅层特征图像进行关键点位置预测,得到关键点位置信息;关键点位置预测模型包括顺序连接的第一多尺度网络和第一卷积网络;利用肢体连接预测模型,对深层特征图像进行肢体连接预测,得到肢体连接信息;肢体连接预测模型包括顺序连接的上采样层、第二多尺度网络和第二卷积网络;基于关键点位置信息和肢体连接信息,生成输入图像的关键点检测结果。

【技术实现步骤摘要】
一种关键点检测方法及装置、存储介质
本申请实施例涉及图像处理
,尤其涉及一种关键点检测方法及装置、存储介质。
技术介绍
人体关键点检测,主要检测人体的一些关键点,例如,眼睛、鼻子、手肘等,并将它们按照肢体顺序依次进行连接,从而描述人体骨骼信息。基于深度学习的人体关键点检测方法可以划分成两种,分别为自上而下的检测方法和自下而上的检测方法。自上而下的检测方法,主要包括人体检测步骤和单人人体关键点检测步骤。具体的,首先通过目标检测算法将图像中每个人物个体单独的检测出来,之后,在检测框的基础上针对每个人物个体分别进行人体骨骼关键点检测。自上而下的检测方法检测精度较高,但是检测速度与图像中人物个体的数量呈线性增长的关系,并且需要额外的目标检测算法作为支持。自下而上的检测方法,主要包括图像中多人关键点检测步骤和后处理步骤。具体的,首先将图像中所有的关键点检测出来,之后,应用相关后处理策略将所有的关键点分配到图像中不同的人物个体上。目前,对于自下而上的检测方法而言,不仅检测模型的复杂度较高,运算量加大,而且,检测结果的精度较低。本文档来自技高网...

【技术保护点】
1.一种关键点检测方法,其特征在于,所述方法包括:/n利用基础网络对输入图像进行下采样,得到浅层特征图像和深层特征图像;/n利用关键点位置预测模型,对所述浅层特征图像进行关键点位置预测,得到关键点位置信息;所述关键点位置预测模型包括顺序连接的第一多尺度网络和第一卷积网络;/n利用肢体连接预测模型,对所述深层特征图像进行肢体连接预测,得到肢体连接信息;所述肢体连接预测模型包括顺序连接的上采样层、第二多尺度网络和第二卷积网络;/n基于所述关键点位置信息和所述肢体连接信息,生成所述输入图像的关键点检测结果。/n

【技术特征摘要】
1.一种关键点检测方法,其特征在于,所述方法包括:
利用基础网络对输入图像进行下采样,得到浅层特征图像和深层特征图像;
利用关键点位置预测模型,对所述浅层特征图像进行关键点位置预测,得到关键点位置信息;所述关键点位置预测模型包括顺序连接的第一多尺度网络和第一卷积网络;
利用肢体连接预测模型,对所述深层特征图像进行肢体连接预测,得到肢体连接信息;所述肢体连接预测模型包括顺序连接的上采样层、第二多尺度网络和第二卷积网络;
基于所述关键点位置信息和所述肢体连接信息,生成所述输入图像的关键点检测结果。


2.根据权利要求1所述的方法,其特征在于,所述第一多尺度网络包括并列的多个第一分支卷积层,所述利用关键点位置预测模型,对所述浅层特征图像进行关键点位置预测,得到关键点位置信息,包括:
利用所述多个第一分支卷积层中不同卷积层,从所述浅层特征图像中提取不同尺度的图像信息,得到第一多尺度图像信息;
利用所述第一卷积网络,根据所述第一多尺度图像信息进行关键点位置预测,得到所述关键点位置信息。


3.根据权利要求2所述的方法,其特征在于,所述第一卷积网络包括顺序连接的第一提取卷积层和第一预测卷积层,所述利用所述第一卷积网络,根据所述第一多尺度图像信息进行关键点位置预测,得到所述关键点位置信息,包括:
利用所述第一提取卷积层,对所述多个第一图像信息进行关键点特征提取,得到第一提取结果;
利用所述第一预测卷积层,根据所述第一提取结果进行关键点位置预测,得到所述关键点位置信息。


4.根据权利要求1所述的方法,其特征在于,所述第二多尺度网络包括并列的多个第二分支卷积层,所述利用肢体连接预测模型,对所述深层特征图像进行肢体连接预测,得到肢体连接信息,包括:
利用所述上采样层,对所述深层特征图像进行上采样,得到上采样特征图像;
利用所述多个第二分支卷积层中不同卷积层,从所述上采样特征图像中提取不同尺度的图像信息,得到第二多尺度图像信息;
利用所述第二卷积网络,根据所述第二多尺度图像信息进行肢体连接预测,得到所述肢体连接信息。


5.根据权利要求4所述的方法,其特征在于,所述第二卷积网络包括顺序连接的第二提取卷积层和第二预测卷积层,所述利用所述第二卷积网络,根据所述第二多尺度图像信息进行肢体连接预测,得到所述肢体连接信息,包括:
利用所述第二提取卷积层,对所述第二多尺度图像信息进行肢体连接特征提取,得到第二提取结果;
利用所述第二预测卷积层...

【专利技术属性】
技术研发人员:吴佳涛
申请(专利权)人:OPPO广东移动通信有限公司上海瑾盛通信科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1