【技术实现步骤摘要】
本专利技术涉及机器人，具体而言，涉及一种障碍物观测方法、装置及电子设备。
技术介绍
1、近年来，协作机器人在生产制造、物流仓储、农业、医疗等多个领域的广泛应用已引起关注。
2、在这些多样化的应用场景中，人往往担任着监督、任务规划、决策指定等需要高度认知和判断能力的角色，并存在与协作机器人产生交互和配合的情况，这种协作的顺畅对于确保任务的顺序执行和人机协作的高效性至关重要。
3、为了实现这一目标，必须更好地估计和表征人体障碍物的存在和行为，以防止在任务执行过程中人与协作机器人之间的干涉和碰撞。
技术实现思路
1、本专利技术的目的在于，针对上述现有技术中的不足，提供一种障碍物观测方法、装置及电子设备，以便提高协作机器人的作业安全性。
2、为实现上述目的，本申请实施例采用的技术方案如下：
3、第一方面，本申请实施例提供了一种障碍物观测方法，所述方法包括：
4、获取协作机器人的预设工作区域内的二维图像和深度图像；
5、对所述二维图像进行人体关键点识别，确定人体关键点的识别结果，所述识别结果包括：像素位置信息；
6、根据所述人体关键点的像素位置信息和所述深度图像，计算所述人体关键点的点云位置信息；
7、根据所述人体关键点的点云位置信息，构建所述人体关键点对应的人体关键部位的圆柱包络；
8、根据连续多帧二维图像对应的所述人体关键部位的圆柱包络，确定人形障碍物的当前运动状态；
10、可选的，所述根据所述人体关键点的像素位置信息和所述深度图像，计算所述人体关键点的点云位置信息，包括：
11、根据所述人体关键点的像素位置信息和所述深度图像，计算所述人体关键点的初始点云位置信息；
12、根据所述人体关键点的初始点云位置信息，确定所述人体关键部位的深度范围；
13、根据所述深度范围对所述深度图像中所述人体关键点对应的深度值进行校正，得到校正后的深度图像；
14、根据所述人体关键点的像素位置信息和所述校正后的深度图像，计算所述人体关键点的点云位置信息。
15、可选的，所述根据所述人体关键点的点云位置信息，构建所述人体关键点对应的人体关键部位的圆柱包络，包括：
16、根据所述人体关键点的点云位置信息，确定圆柱投影矩形的位置信息；
17、根据所述圆柱投影矩形的位置信息和所述二维图像，生成所述人体关键部位的掩膜图像；
18、根据所述人体关键部位的掩膜图像和所述深度图像，确定所述人体关键部位的点云位置信息；
19、根据所述人体关键部位的点云位置信息，生成所述人体关键部位的圆柱包络。
20、可选的，所述根据所述人体关键部位的点云位置信息，生成所述人体关键部位的圆柱包络，包括：
21、生成所述人体关键部位的初始圆柱包络；
22、对所述初始圆柱包络中的圆柱点云位置信息和所述人体关键部位的点云位置信息进行匹配，确定点云对；
23、根据所述点云对的最佳旋转矩阵和最佳平移向量；
24、根据所述最佳旋转矩阵和最佳平移向量，更新所述圆柱点云位置信息；
25、根据更新后的圆柱点云位置信息，生成所述人体关键部位的圆柱包络。
26、可选的，所述识别结果还包括：所述人体关键点的置信度；所述根据所述人体关键点的点云位置信息，构建所述人体关键点对应的人体关键部位的圆柱包络之前，所述方法还包括：
27、根据所述人体关键点的置信度，计算所述人体关键点对应的人体关键部位的置信度；
28、根据所述人体关键部位的置信度，计算所述人体关键部位的存在性判定结果；
29、所述根据所述人体关键点的点云位置信息，构建所述人体关键点对应的人体关键部位的圆柱包络，包括：
30、根据所述人体关键点的点云位置信息，构建所述存在性判定结果指示存在的人体关键部位的圆柱包络。
31、可选的，所述根据所述协作机器人的初始工作角度、预设运动轨迹和所述人形障碍物的当前运动状态，生成第一观测轨迹，包括：
32、根据所述人形障碍物的当前运动状态，计算所述人形障碍物与所述协作机器人之间的碰撞概率；
33、根据所述初始工作角度、所述预设运动轨迹和所述碰撞概率，生成第一观测轨迹。
34、可选的，所述根据所述人形障碍物的当前运动状态，计算所述人形障碍物与所述协作机器人之间的碰撞概率，包括：
35、根据所述人形障碍的当前运动状态，根据所述人形障碍物在任意预测时刻的状态；
36、根据所述任意预测时刻的状态，确定所述人形障碍物的观测不确定度；
37、根据所述观测不确定度，确定所述碰撞概率。
38、可选的，所述方法还包括：
39、获取相机观测动作集合；
40、根据所述相机观测动作集合，计算相机状态转移概率；
41、根据所述初始工作角度、所述预设运动轨迹、所述当前运动状态和所述相机状态转移概率，生成第二观测轨迹，以基于所述第二观测轨迹对所述人形障碍物进行观测。
42、第二方面，本申请实施例还提供一种机器人控制装置，所述装置包括：
43、图像获取模块，用于获取协作机器人的预设工作区域内的二维图像和深度图像；
44、图像识别模块，用于对所述二维图像进行人体关键点识别，确定人体关键点的识别结果，所述识别结果包括：像素位置信息；
45、点云计算模块，用于根据所述人体关键点的像素位置信息和所述深度图像，计算所述人体关键点的点云位置信息；
46、包络构建模块，用于根据所述人体关键点的点云位置信息，构建所述人体关键点对应的人体关键部位的圆柱包络；
47、运动状态确定模块，用于根据连续多帧二维图像对应的所述人体关键部位的圆柱包络，确定人形障碍物的当前运动状态；
48、轨迹生成模块，用于根据所述协作机器人的初始工作角度、预设运动轨迹和所述人形障碍物的当前运动状态，生成第一观测轨迹，以使得所述协作机器人根据所述第一观测轨迹在所述预设工作区域内移动。
49、可选的，所述点云计算模块，包括：
50、初始点云计算单元，用于根据所述人体关键点的像素位置信息和所述深度图像，计算所述人体关键点的初始点云位置信息；
51、深度范围确定单元，用于根据所述人体关键点的初始点云位置信息，确定所述人体关键部位的深度范围；
52、深度值校正单元，用于根据所述深度范围对所述深度图像中所述人体关键点对应的深度值进行校正，得到校正后的深度图像；
53、点云计算单元，用于根据所述人体关键点的像素位置信息和本文档来自技高网...
【技术保护点】
1.一种障碍物观测方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述根据所述人体关键点的像素位置信息和所述深度图像，计算所述人体关键点的点云位置信息，包括：
3.如权利要求1所述的方法，其特征在于，所述根据所述人体关键点的点云位置信息，构建所述人体关键点对应的人体关键部位的圆柱包络，包括：
4.如权利要求3所述的方法，其特征在于，所述根据所述人体关键部位的点云位置信息，生成所述人体关键部位的圆柱包络，包括：
5.如权利要求1所述的方法，其特征在于，所述识别结果还包括：所述人体关键点的置信度；所述根据所述人体关键点的点云位置信息，构建所述人体关键点对应的人体关键部位的圆柱包络之前，所述方法还包括：
6.如权利要求1所述的方法，其特征在于，所述根据所述协作机器人的初始工作角度、预设运动轨迹和所述人形障碍物的当前运动状态，生成第一观测轨迹，包括：
7.如权利要求6所述的方法，其特征在于，所述根据所述人形障碍物的当前运动状态，计算所述人形障碍物与所述协作机器人之间的碰撞概率，包括：
...【技术特征摘要】
1.一种障碍物观测方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述根据所述人体关键点的像素位置信息和所述深度图像，计算所述人体关键点的点云位置信息，包括：
3.如权利要求1所述的方法，其特征在于，所述根据所述人体关键点的点云位置信息，构建所述人体关键点对应的人体关键部位的圆柱包络，包括：
4.如权利要求3所述的方法，其特征在于，所述根据所述人体关键部位的点云位置信息，生成所述人体关键部位的圆柱包络，包括：
5.如权利要求1所述的方法，其特征在于，所述识别结果还包括：所述人体关键点的置信度；所述根据所述人体关键点的点云位置信息，构建所述人体关键点对应的人体关键部位的圆柱包络之前，所述方法还包括：
6...
【专利技术属性】
技术研发人员：丁铖，云鹏辉，李明洋，
申请(专利权)人：节卡机器人股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。