【技术实现步骤摘要】
本申请涉及生物特征识别领域，特别是指一种手掌检测和关键点定位方法、装置、存储介质及设备。
技术介绍
1、手掌检测和关键点定位在手势识别、交互感知中具有重要的应用价值。现有基于深度学习的手掌检测和关键点定位方法是使用两个深度神经网络分别进行手掌检测和关键点定位，根据串联思路，首先使用类似ssd，fpn等网络进行手掌检测，在检测到的手掌位置获取手掌部分图像，然后使用mobilenet等网络在手掌部分图像上回归手掌关键点的位置。
2、由于手掌检测和关键点定位都是两个较为复杂的任务，因此为了获得更加准确的检测和定位结果，会使用两个模型复杂度较高的卷积神经网络，导致算法时间复杂度较高，时间开销较高，速度较慢。由于手掌检测和关键点定位多用于离线应用，实时性是一个重要的衡量指标，现有的手掌检测和关键点定位方法应用到离线应用上很难满足实时性的要求。
技术实现思路
1、为解决现有技术的缺陷，本申请提供一种手掌检测和关键点定位方法、装置、存储介质及设备，本申请结果准确，检测速度快。
2、本申请提供技术方案如下：
3、第一方面，本申请提供一种手掌检测和关键点定位方法，所述方法包括：
4、获取待检测图像；
5、通过第一神经网络对所述待检测图像进行手掌检测并同时对表示手掌骨架的关键点进行粗定位；
6、当手掌检测的结果为所述待检测图像存在手掌时，分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，从所述待检测图像上截取得到与所述关键点数
7、通过第二神经网络对所有图像块进行关键点精定位。
8、进一步的，所述通过第一神经网络对所述待检测图像进行手掌检测并同时对表示手掌骨架的关键点进行粗定位，包括：
9、对所述待检测图像进行图像处理操作，得到符合所述第一神经网络的输入要求的输入图像；
10、将所述输入图像输入所述第一神经网络，通过所述第一神经网络的一系列的特征层进行特征提取操作；
11、从所述第一神经网络的若干个设定的特征层抽取特征图；
12、根据所抽取的特征图判断所述待检测图像是否存在手掌，当判断存在手掌时，根据所抽取的特征图计算每个关键点的粗定位坐标。
13、进一步的，所述通过第二神经网络对所有图像块进行关键点精定位，包括：
14、将所有图像块按照通道叠加在一起，得到输入数据；
15、将所述输入数据输入所述第二神经网络，通过所述第二神经网络的一系列的特征层进行特征提取操作，在所述第二神经网络的最后一个特征层输出特征向量；
16、根据所述特征向量确定每个关键点的精定位坐标。
17、进一步的，所述将所有图像块按照通道叠加在一起，得到输入数据，之前还包括：
18、对每个图像块通过插值操作进行图像放大。
19、进一步的，所述方法还包括：
20、将特定的关键点的精定位坐标按照特定顺序相连，得到手掌骨架。
21、进一步的，所述分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，从所述待检测图像上截取得到与所述关键点数量相同的预设大小的图像块，包括：
22、分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，在所述待检测图像上向上、下、左、右方向上各扩充设定数量的像素，截取得到所述图像块。
23、进一步的，所述关键点包括指尖点和各节指骨的关节点。
24、第二方面，本申请提供一种手掌检测和关键点定位装置，所述装置包括：
25、图像获取模块，用于获取待检测图像；
26、手掌检测和关键点粗定位模块，用于通过第一神经网络对所述待检测图像进行手掌检测并同时对表示手掌骨架的关键点进行粗定位；
27、图像块截取模块，用于当手掌检测的结果为所述待检测图像存在手掌时，分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，从所述待检测图像上截取得到与所述关键点数量相同的预设大小的图像块；
28、关键点精定位模块，用于通过第二神经网络对所有图像块进行关键点精定位。
29、进一步的，所手掌检测和关键点粗定位模块包括：
30、第一预处理单元，用于对所述待检测图像进行图像处理操作，得到符合所述第一神经网络的输入要求的输入图像；
31、第一操作单元，用于将所述输入图像输入所述第一神经网络，通过所述第一神经网络的一系列的特征层进行特征提取操作；
32、特征图抽取单元，用于从所述第一神经网络的若干个设定的特征层抽取特征图；
33、计算单元，用于根据所抽取的特征图判断所述待检测图像是否存在手掌，当判断存在手掌时，根据所抽取的特征图计算每个关键点的粗定位坐标。
34、进一步的，所述关键点精定位模块包括：
35、第二预处理单元，用于将所有图像块按照通道叠加在一起，得到输入数据；
36、第二操作单元，用于将所述输入数据输入所述第二神经网络，通过所述第二神经网络的一系列的特征层进行特征提取操作，在所述第二神经网络的最后一个特征层输出特征向量；
37、精定位坐标确定单元，用于根据所述特征向量确定每个关键点的精定位坐标。
38、进一步的，所述关键点精定位模块还包括：
39、图像放大单元，用于对每个图像块通过插值操作进行图像放大。
40、进一步的，所述装置还包括：
41、手掌骨架获取模块，用于将特定的关键点的精定位坐标按照特定顺序相连，得到手掌骨架。
42、进一步的，所述图像块截取模块用于：分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，在所述待检测图像上向上、下、左、右方向上各扩充设定数量的像素，截取得到所述图像块。
43、进一步的，所述关键点包括指尖点和各节指骨的关节点。
44、第三方面，本申请提供一种用于手掌检测和关键点定位的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的手掌检测和关键点定位方法的步骤。
45、第四方面，本申请提供一种用于手掌检测和关键点定位的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的手掌检测和关键点定位方法的步骤。
46、本申请具有以下有益效果：
47、1、本申请采取由粗到精的关键点定位方法，首先采用多监督方法进行粗定位，多监督方法可以提升网络训练的准确率；然后在每个粗定位的关键点坐标位置附近获取图像块，并采用深度学习方法精确定位关键点的位置，使关键点定位结果更加精确，获得了更好的定位效果，进而提高了手势识别和人机交互感知等实际应用的精度。
48、2、由于精定位是在粗定位的基础上，在粗定位关键点周围的较小的图像块内对关键点位置进行的微调，因此精定位只要使用较本文档来自技高网...
【技术保护点】
1.一种手掌检测和关键点定位方法，其特征在于，所述方法包括：
2.根据权利要求1所述的手掌检测和关键点定位方法，其特征在于，所述通过第一神经网络对所述待检测图像进行手掌检测并同时对表示手掌骨架的关键点进行粗定位，包括：
3.根据权利要求1所述的手掌检测和关键点定位方法，其特征在于，所述通过第二神经网络对所有图像块进行关键点精定位，包括：
4.根据权利要求3所述的手掌检测和关键点定位方法，其特征在于，所述将所有图像块按照通道叠加在一起，得到输入数据，之前还包括：
5.根据权利要求1所述的手掌检测和关键点定位方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的手掌检测和关键点定位方法，其特征在于，所述分别以关键点粗定位得到的每个关键点的粗定位坐标为中心，从所述待检测图像上截取得到与所述关键点数量相同的预设大小的图像块，包括：
7.根据权利要求1-6任一所述的手掌检测和关键点定位方法，其特征在于，所述关键点包括指尖点和各节指骨的关节点。
8.一种手掌检测和关键点定位装置，其特征在于，所述装置包括
9.一种用于手掌检测和关键点定位的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-7任一所述手掌检测和关键点定位方法的步骤。
10.一种用于手掌检测和关键点定位的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7中任意一项所述手掌检测和关键点定位方法的步骤。
...【技术特征摘要】
1.一种手掌检测和关键点定位方法，其特征在于，所述方法包括：
2.根据权利要求1所述的手掌检测和关键点定位方法，其特征在于，所述通过第一神经网络对所述待检测图像进行手掌检测并同时对表示手掌骨架的关键点进行粗定位，包括：
3.根据权利要求1所述的手掌检测和关键点定位方法，其特征在于，所述通过第二神经网络对所有图像块进行关键点精定位，包括：
4.根据权利要求3所述的手掌检测和关键点定位方法，其特征在于，所述将所有图像块按照通道叠加在一起，得到输入数据，之前还包括：
5.根据权利要求1所述的手掌检测和关键点定位方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的手掌检测和关键点定位方法，其特征在于，所述分别以关键点粗定位得到的每个关键点...
【专利技术属性】
技术研发人员：王洋，周军，
申请(专利权)人：北京眼神智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。