【技术实现步骤摘要】
本专利技术涉及康复机器人，尤其是涉及一种骨骼关键点位置检测方法及康复机器人。
技术介绍
1、人体骨骼关键点检测是指从图像或视频中提取出人体的关键关节点，通过关键关节点可以表示出人体的姿态及动作等信息。在人体骨骼关键点提取中，常用的关键关节点包括头部、手臂、腿部及脚部等部位。人体骨骼关键点提取主要应用于运动分析、医疗康复、安全监控、虚拟现实和游戏交互等领域。
2、现有的人体骨骼关键点检测技术，通常采用特征匹配识别关键点位置，需要对采集到的图像进行图像预处理、人体检测及关键点定位等步骤，计算量较大，所需计算时间较长，检测实时性较差，且容易受到图像质量、人体姿态及衣物遮挡等因素的影响，导致关键点的检测精度较低。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种骨骼关键点位置检测方法及康复机器人，能够提高关键点检测的计算效率，加快了检测响应时间，检测实时性较好，提升了关键点的检测精度。
2、为了实现上述目的，本专利技术实施例采用的技术方案如下：
3、第一方面，本专利技术实施例提供了一种骨骼关键点位置检测方法，包括：
4、获取预先训练得到的深度学习网络模型；其中，所述深度学习网络模型基于预先标注有各网格的标签及用户姿态的深度图像训练集训练得到，所述标签包括所述网格中包括的身体部位信息；
5、采集用户的深度图像，对所述深度图像进行图像预处理得到局部深度图像；其中，所述局部深度图像为从所述深度图像中提取的用户目标部位的活动区域的
6、将所述局部深度图像输入所述训练得到的深度学习网络模型中，得到所述用户的当前姿态及所述局部深度图像中各网格的标签信息；
7、基于所述用户的当前姿态及所述局部深度图像中各网格的标签信息确定所述用户的骨骼关键点坐标。
8、进一步，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述用户姿态包括用户的上臂动作姿态，所述目标部位包括上肢，所述基于所述用户的当前姿态及所述局部深度图像中各网格的标签信息确定所述用户的骨骼关键点坐标的步骤，包括：
9、基于所述用户的当前姿态及所述局部深度图像中各网格区域的标签信息确定所述局部深度图像中用户的各手臂部位所在的网格区域；
10、基于相邻两个手臂部位所在的网格区域的交接位置确定用户手臂的骨骼关键点坐标。
11、进一步，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，各所述手臂部位包括：手部、前臂、上臂和肩部；所述基于相邻两个手臂部位所在的网格区域的交接位置确定用户手臂的骨骼关键点坐标的步骤，包括：
12、基于所述肩部所在的网格区域与所述上臂所在的网格区域之间的交界位置确定肩关节点的像素坐标；
13、基于所述前臂所在的网格区域与所述上臂所在的网格区域之间的交界位置确定肘关节点的像素坐标；
14、基于所述前臂所在网格区域与所述手部所在的网格区域之间的交界位置确定腕关节点的像素坐标；
15、基于所述手部所在的网格区域的中心位置确定手掌中心点的像素坐标。
16、进一步，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述用户手臂的骨骼关键点坐标包括三维坐标；还包括：
17、基于所述肩关节点的像素坐标及对应的深度值确定所述肩关节点的三维坐标；
18、基于所述肘关节点的像素坐标及对应的深度值确定所述肘关节点的三维坐标；
19、基于所述腕关节点的像素坐标及对应的深度值确定所述腕关节点的三维坐标；
20、基于所述手掌中心点的像素坐标及对应的深度值确定所述手掌中心点的三维坐标。
21、进一步，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述骨骼关键点位置检测方法还包括：
22、获取预先采集得到的用户在多种姿态下的多张深度图像，对所述深度图像进行所述图像预处理，得到深度图像样本；其中，所述图像预处理包括网格划分，所述深度图像样本包括多张从各所述深度图像中提取的用户目标部位的活动区域的局部深度图像；
23、对所述深度图像样本中的各所述网格进行标签标注及姿态标注，得到所述深度图像训练集。
24、进一步，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述目标部位包括上肢，所述网格的标签为堆栈，所述堆栈中的元素包括所述网格对应的手臂部位；其中，当所述堆栈中包括多个手臂部位时，各所述手臂部位按照深度值从小到大的顺序进行排序。
25、进一步，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述图像预处理的步骤，包括：
26、获取所述深度图像对应的采集区域的背景深度图像；
27、基于所述深度图像与所述背景深度图像的像素深度值之差从所述深度图像中截取用户身体区域的深度图像；
28、获取用户的目标部位的最大运动范围，从所述用户身体区域的深度图像中截取所述最大运行范围对应的局部深度图像；
29、对所述局部深度图像进行网格划分，以将所述局部深度图像均分为多个面积相同的矩形网格。
30、进一步，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，所述目标部位包括上肢，所述获取用户的目标部位的最大运动范围的步骤，包括：
31、获取用户手臂在垂直伸直和水平伸直姿态下的目标深度图像；
32、从所述目标深度图像中获取用户的指尖像素坐标，基于所述指尖像素坐标确定所述用户的手臂部位的最大运动范围。
33、进一步，本专利技术实施例提供了第一方面的第八种可能的实施方式，其中，所述目标部位包括上肢，所述骨骼关键点位置检测方法还包括：
34、获取用户的各手臂部位对应的限制运动区域，基于各所述手臂部位对应的限制运动区域确定各所述限制运动区域能够被赋予的全部标签信息，记为基准标签；
35、当所述训练得到的深度学习网络模型识别得到所述局部深度图像中各网格的标签信息时，基于所述基准标签判断所述局部深度图像中各网格的标签信息是否正确；
36、当所述局部深度图像中各网格的标签信息中存在错误标签时，将所述错误标签删除。
37、第二方面，本专利技术实施例还提供了一种康复机器人，包括：图像传感器、处理器和存储装置；所述图像传感器用于采集用户的深度图像；
38、所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行第一方面任一项所述的方法。
39、本专利技术实施例提供了一种骨骼关键点位置检测方法及康复机器人，该方法包括：获取预先训练得到的深度学习网络模型；其中，深度学习网络模型基于预先标注有各网格的标签及用户姿态的深度图像训练集训练得到，标签包括网格中包括的身体部位信息；采集用户的深度图像，对深度图像进行图像预处理得到局部深度图像；其中，局部深度图像为从深度图像中提取的用户目标部位的活动区域的局部图像；将局部深度图像输入训练得本文档来自技高网...
【技术保护点】
1.一种骨骼关键点位置检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述用户姿态包括用户的上臂动作姿态，所述目标部位包括上肢，所述基于所述用户的当前姿态及所述局部深度图像中各网格的标签信息确定所述用户的骨骼关键点坐标的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，各所述手臂部位包括：手部、前臂、上臂和肩部；所述基于相邻两个手臂部位所在的网格区域的交接位置确定用户手臂的骨骼关键点坐标的步骤，包括：
4.根据权利要求3所述的方法，其特征在于，所述用户手臂的骨骼关键点坐标包括三维坐标；还包括：
5.根据权利要求1所述的方法，其特征在于，还包括：
6.根据权利要求1或5所述的方法，其特征在于，所述目标部位包括上肢，所述网格的标签为堆栈，所述堆栈中的元素包括所述网格对应的手臂部位；其中，当所述堆栈中包括多个手臂部位时，各所述手臂部位按照深度值从小到大的顺序进行排序。
7.根据权利要求1或5所述的方法，其特征在于，所述图像预处理的步骤，包括：
8.根据权利要求7所述的方法，
9.根据权利要求1所述的方法，其特征在于，所述目标部位包括上肢，所述骨骼关键点位置检测方法还包括：
10.一种康复机器人，其特征在于，包括：图像传感器、处理器和存储装置；所述图像传感器用于采集用户的深度图像；
...【技术特征摘要】
1.一种骨骼关键点位置检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述用户姿态包括用户的上臂动作姿态，所述目标部位包括上肢，所述基于所述用户的当前姿态及所述局部深度图像中各网格的标签信息确定所述用户的骨骼关键点坐标的步骤，包括：
3.根据权利要求2所述的方法，其特征在于，各所述手臂部位包括：手部、前臂、上臂和肩部；所述基于相邻两个手臂部位所在的网格区域的交接位置确定用户手臂的骨骼关键点坐标的步骤，包括：
4.根据权利要求3所述的方法，其特征在于，所述用户手臂的骨骼关键点坐标包括三维坐标；还包括：
5.根据权利要求1所述的方法，其特征在于，还包括：
6.根据权利要...
【专利技术属性】
技术研发人员：王浩宇，吴剑煌，孙维，沈君，
申请(专利权)人：深圳华鹊景医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。