一种基于视觉的机器人碰撞预警方法技术

本发明专利技术提出了一种基于视觉的机器人碰撞预警方法，涉及机器人控制方法领域。根据不同安全等级，机器人进行相应的不同动作，从而避免机器人与周围的物体或人的直接接触，达到安全保护的目的。判断是否有障碍物；定位任意三个连续等时间间隔的障碍物位置和高度；建立障碍物时间运动轨迹模型以及原地运动模型；预测障碍物下一时刻运动轨迹位置信息；设定自适应安全阈值碰撞预警规则；根据规则判断是否需要预警，以及是否需要报警；重复上述步骤，在线实时更新障碍物时间轨迹模型和原地运动模型，直至机器人工作结束。可以用于工厂、展馆、实验室等使用工业机器人或服务机器人的场所，具有安全、高效、精准识别的特点。精准识别的特点。精准识别的特点。

【技术实现步骤摘要】
一种基于视觉的机器人碰撞预警方法


[0001]本专利技术涉及机器人控制方法领域。

技术介绍

[0002]随着科技的快速发展，机器人(工业机器人、服务型机器人等)的应用已经越来越普遍。机器人基本是按照事先编译好的程序沿着对应的轨迹在运行，然而并不能感知和发现周围运动的物体。机器人在运动过程中，时常会有人或者其他设备在机器人周边作业，如果周边人或物进入到机器人的工作区域内，机器人会与之发生碰撞，造成人员或者设备受到伤害，为了避免这一问题的产生，需要在机器人周边安装上围栏。
[0003]公告号为“CN205651378U”、名称为“一种机器人碰撞检测系统”的中国使用新型专利中通过电容感应原理实现碰撞开关检测；公开号为“CN104985598A”、名为“一种工业机器人碰撞检测方法”的中国专利技术专利申请中通过计算关节理论力矩值与关节实际采样力矩值之间的差值，当力矩差超出一定阈值时则视为碰撞。以上两种专利均是通过外部传感器感知的方式判断机器人与物体或人是否接触，但是该方式的缺点是机器人只有碰到物体或人后，才能感知并停止运动。如果机器人末端是尖锐工件而碰撞物体是柔性物体或人时，不可避免的会造成伤害，影响机器人作业和人身、财产安全。因此，机器人作业过程中，如何预防机器人与人或物发生碰撞对机器人工业应用尤为重要。
[0004]公告号为“CN109746942B”、名为“机器人、运动控制系统以及机器人防碰撞方法”的中国专利技术专利中提出通过测距传感器测量机器人与邻近物体的间隔距离，据此判断机器人与邻近物体之间的危险程度，设置多级阈值进行安全预警。该专利需要额外配置测距传感器，增加硬件成本，且依赖于人为经验设置阈值。公开号为“CN113568407A”、名为“一种基于深度视觉的人机协作安全预警及系统”的中国专利技术专利申请中提出一种基于深度视觉的人机协作安全预警方法及系统，利用Yolov5模型实时处理机器人生产环境区域的图像，定位和标记图像中的行人，并计算所有行人与机器人的相对距离，与设定的安全防护等级距离进行比较，发出不同等级的预警信号。该专利无需外置测距传感器，采用深度学习训练模型定位行人，将检测框的中心点视为人的位置，即认为人是一个质点，未考虑人自身活动范围，同样地，依赖人为经验设置安全阈值。

技术实现思路

[0005]本专利技术针对以上问题，提出了一种基于视觉的机器人碰撞预警系统，通过视觉系统定位机器人周围的人或物等运动障碍物，分别建立障碍物的时间运动轨迹模型和原地运动轨迹模型，在线实时更新模型，自适应多级安全预警阈值，多维度实时判断机器人与周边物体或人是否将要(或可能)发生碰撞，根据不同安全等级，机器进行相应的不同动作，从而避免机器人与物体或人的直接接触，达到安全保护的目的。
[0006]本专利技术的技术方案为：按以下步骤进行预警：
[0007]步骤1、通过多个视觉传感器监测机器人周围环境，并判断是否有障碍物；
[0008]是则进入下一步，否则保持机器人常速运动；
[0009]步骤2、定位任意三个连续等时间间隔的障碍物位置和高度；
[0010]步骤3、建立障碍物时间运动轨迹模型以及原地运动模型；
[0011]步骤4、预测障碍物下一时刻运动轨迹位置信息；
[0012]步骤5、设定自适应安全阈值碰撞预警规则；
[0013]步骤6、根据步骤5的规则判断是否需要预警，以及是否需要报警；
[0014]需要报警则控制机器人停止运动；
[0015]需要预警则控制机器人减速运动；
[0016]无需预警及报警，则保持机器人常速运动；
[0017]重复上述步骤，在线实时更新障碍物时间轨迹模型和原地运动模型，直至机器人工作结束。
[0018]所述机器人碰撞预警方法基于机器人碰撞预警系统来实现，所述机器人碰撞预警系统包括机器人1、机器人控制系统2、视觉系统4以及多个视觉传感器3，所述机器人1连接机器人控制系统2，并在机器人控制系统2的控制下动作；
[0019]多个视觉传感器3连接视觉系统4，所述视觉系统4与机器人控制系统2也保持数据交互，通过视觉系统4按步骤1
‑
步骤6对是否需要预警，以及是否需要报警进行判断，然后反馈给机器人控制系统2对机器人1进行相应的控制。
[0020]进一步的，步骤2中视觉检测系统获取物体或人的任意三个连续等时间间隔时刻的中心位置，位置信息分别记为p
t
‑2(x
t
‑2,y
t
‑2,z
t
‑2)，p
t
‑1(x
t
‑1,y
t
‑1,z
t
‑1)，p
t
(x
t
,y
t
,z
t
)，t≥2；并获取物体或人的任意三个连续等时间间隔时刻的高度h
t
‑2，h
t
‑1，h
t
(t≥2)；
[0021]进一步的，步骤3对上述步骤2获得的连续三个位置点p
t
‑2、p
t
‑1、p
t
进行圆拟合，得到物体或人当前时刻t的运动轨迹半径R
t
和中心点P
t
(X
t
,Y
t
,Z
t
)；
[0022]若p
t
‑2、p
t
‑1、p
t
不共线，分别计算出时间运动轨迹中心点P
t
与障碍物t
‑
2和t时刻位置p
t
‑2、p
t
的角度，即和对应的角度θ
t
‑2、θ
t
(θ
t
>θ
t
‑2)；
[0023]假设连续三个时刻障碍物为匀速运动，根据上述拟合圆结果和三个点位置，估算出障碍物的运动速度
[0024]记录障碍物时间运动轨迹模型，记作
[0025]步骤4根据障碍物时间运动轨迹模型估算障碍物下一时刻的位置
[0026]若p
t
‑2、p
t
‑1、p
t
共线，障碍物时间轨迹模型近似为R
t
无穷大的圆，运动速度则下一时刻的预测位置
[0027]进一步的，步骤3建立原地运动模型时，将障碍物视为以当前位置p
t
为中心，半径为r的球体，其中活动半径记录障碍物原地运动模型，记作m
t
(p
t
,r)。
[0028]进一步的，步骤5按以下步骤设定自适应安全阈值碰撞预警规则；
[0029]获取当前时刻机器人末端的坐标
[0030]计算当前时刻机器人和障碍物的相对距离与运动轨迹中心的相对距离
[0031]其中，
[0032][0033][00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的机器人碰撞预警方法，其特征在于，按以下步骤进行预警：步骤1、通过多个视觉传感器监测机器人周围环境，并判断是否有障碍物；是则进入下一步，否则保持机器人常速运动；步骤2、定位任意三个连续等时间间隔的障碍物位置和高度；步骤3、建立障碍物时间运动轨迹模型以及原地运动模型；步骤4、预测障碍物下一时刻运动轨迹位置信息；步骤5、设定自适应安全阈值碰撞预警规则；步骤6、根据步骤5的规则判断是否需要预警，以及是否需要报警；需要报警则控制机器人停止运动；需要预警则控制机器人减速运动；无需预警及报警，则保持机器人常速运动；重复上述步骤，在线实时更新障碍物时间轨迹模型和原地运动模型，直至机器人工作结束。2.根据权利要求1所述的一种基于视觉的机器人碰撞预警方法，其特征在于，所述机器人碰撞预警方法基于机器人碰撞预警系统来实现，所述机器人碰撞预警系统包括机器人(1)、机器人控制系统(2)、视觉系统(4)以及多个视觉传感器(3)，所述机器人(1)连接机器人控制系统(2)，并在机器人控制系统(2)的控制下动作；多个视觉传感器(3)连接视觉系统(4)，所述视觉系统(4)与机器人控制系统(2)也保持数据交互，通过视觉系统(4)按步骤1
‑
步骤6对是否需要预警，以及是否需要报警进行判断，然后反馈给机器人控制系统(2)对机器人(1)进行控制。3.根据权利要求1所述的一种基于视觉的机器人碰撞预警方法，其特征在于，步骤2中视觉检测系统获取物体或人的任意三个连续等时间间隔时刻的中心位置，位置信息分别记为p
t
‑2(x
t
‑2,y
t
‑2,z
t
‑2)，p
t
‑1(x
t
‑1,y
t
‑1,z
t
‑1)，p
t
(x
t
,y
t
,z
t
)，t≥2；并获取物体或人的任意三个连续等时间间隔时刻的高度h
t
‑2，h
t
‑1，h
t
(t≥2)。4.根据权利要求3所述的一种基于视觉的机器人碰撞预警方法，其特征在于，步骤3对上述步骤2获得的连续三个位置点p
t
‑2、p
t
‑1、p
t
进行圆拟合，得到物体或人当前时刻t的运动轨迹半径R
t
和中心点P
t
(X
t
,Y
t
,Z
t
)；若p
t
‑2、p
t
‑1、p
t
不共线，分别计算出时间运动轨迹中心点P
t
与障碍物t
‑
2和t时刻位置p
t
‑2、p
t
的角度，即和对应的角度θ
t
‑2、θ
t
(θ
t
>θ
t
‑2)；假设连续三个时刻障碍物为匀速运动，根据上...

【专利技术属性】
技术研发人员：张冶，粟华，史婷，
申请(专利权)人：南京埃斯顿机器人工程有限公司，
类型：发明
国别省市：