基于图像分割及表面肌电信号的机器人示教系统及方法技术方案

本发明专利技术涉及基于图像分割及表面肌电信号的机器人示教系统及方法，包括RGB

【技术实现步骤摘要】
基于图像分割及表面肌电信号的机器人示教系统及方法


[0001]本专利技术涉及基于图像分割及表面肌电信号的机器人示教系统及方法，属于机器人、智能制造领域。

技术介绍

[0002]在传统的工业机器人本体(以下简称：机器人)示教系统中采用示教器示教和拖动示教两种方式。其中，采用拖动示教的机器人通常在末端设置一个六维力传感器，因此，机器人不仅仅可以获取示教过程中的轨迹信息，还可以获取在演示过程中的交互力信息。此种方法虽然比较容易实现机器人示教，然而基于末端力检测方式的力控制响应慢，并且六维力传感器价格昂贵，实现成本较高。现有的另一种方案是：在机器人关节中，在减速器输出端配置力矩传感器和双编码器，组成柔性关节或线弹性驱动器。这种方法虽然有利于进行基于动力学的位置控制，实现力的控制，但是在关节处配置力矩传感器会增加关节结构的复杂度，且会降低关节传动链的刚度。

技术实现思路

[0003]为了解决上述技术问题，本专利技术提供一种基于图像分割及表面肌电信号的机器人示教系统，通过深度学习网络进行图像分割，分割并识别出机器人关节臂及人体各关节，然后判断人体关节与机器人关节臂之间的接触情况，利用表面肌电信号传感器识别人体力量大小及施力的方向，进而控制机器人各关节臂运动，实现拖动示教。
[0004]本专利技术技术方案一如下：
[0005]基于图像分割及表面肌电信号的机器人示教系统，包括RGB-D相机、表面肌电信号传感器、机器人和计算机，所述RGB-D相机、表面肌电信号传感器以及机器人均与所述计算机通信连接，所述RGB-D相机采集所述机器人的示教场景视频信息并发送至所述计算机，所述表面肌电信号传感器穿戴在示教人员的小臂上，所述表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，所述计算机从所述视频信息中识别出机器人关节臂和人体关节并检测出人体关节与机器人关节臂的接触部位，所述计算机根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向，然后计算机发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。
[0006]更优地，所述计算机内运行有机器人关节臂分割模块、人体关节分割模块和距离检测模块；所述机器人关节臂分割模块通过已训练的深度学习图像分割网络将所述视频信息进行图像分割，识别出机器人的各关节臂及其类型，然后在视频图像中将不同的关节臂标注为不同颜色；所述人体关节分割模块识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息；所述距离检测模块检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应
的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。
[0007]更优地，所述计算机内还运行有表面肌电信号检测模块和机器人通信控制模块；所述表面肌电信号检测模块接收到信号检测指令后，根据接收到的表面肌电信号和惯性加速度信号判断人体关节与机器人关节臂接触后的施力大小和施力方向，然后将施力大小、施力方向以及人体所接触的机器人关节臂类型发送至所述机器人通信控制模块；所述机器人通信控制模块接收来自表面肌电信号检测模块发出的信息，根据所述机器人关节臂类型发出信号控制所接触的机器人关节臂与机器人基座之间的关节运动，根据所述施力方向控制所接触机器人关节臂的运动方向，根据所述施力大小控制所接触机器人关节臂的运动速度，同时，存储示教过程中机器人的运动参数；所述机器人通信控制模块接收到碰撞信号控制机器人立即停止运动，待碰撞信号取消后再继续控制机器人运行。
[0008]更优地，所述距离检测模块具体执行如下步骤：S31、将所述机器人关节臂分割模块分割出的机器人各关节臂的深度图像及所述人体关节分割模块分割出的人体各关节的深度图像转换为点云；S32、对机器人不同关节臂的点云进行部位标注，对人体各关节的三维点云进行部位标注，生成点云标签；S33、将机器人各关节臂及人体各关节之间的点云进行碰撞检测，当检测到各部位点云之间发生碰撞时进入步骤S34；S34、在示教模式下，查询与机器人关节臂发生碰撞的人体关节的点云标签，判断机器人关节臂与人体关节接触部位，如果是人体手部关节与机器人关节臂碰撞，则发送信号检测指令至表面肌电信号检测模块；否则，发出预警信号；在工作模式下，发出预警信号并发送碰撞信号至机器人通信控制模块，控制机器人暂停运行。
[0009]更优地，所述计算机内还运行增强现实验证模块，其包括虚拟机器人模型，增强现实显示模块，AR注册卡，具体步骤如下：S61、使用机器人参数建立虚拟机器人三维模型，根据各关节臂的运动关系添加虚拟机器人关节DOF节点并建立父子关系，构建虚拟机器人运动学模型；S62、控制机器人运动，将机器人的末端执行器依次放置在AR注册卡的四个角点上，当末端执行器到达AR注册卡的角点上时，通过机器人读取所述末端执行器的坐标值，获得所述AR注册卡角点在机器人坐标系下的坐标，由于所述AR注册卡四个角点在AR注册卡坐标系下的坐标已知，计算出AR注册卡坐标系到机器人坐标系之间的转换关系，在AR注册卡坐标系描述的虚拟机器人位置，通过所述转换关系转换到机器人坐标系下，将虚拟机器人模型与机器人重合；S63、在示教完成后，将虚拟机器人模型叠加到真实机器人的工作场景中，所述增强现实显示模块读取机器人通信控制模块示教时所记录的运动参数，虚拟机器人模型按照示教路径运动，在虚实融合的环境中对示教路径进行验证。
[0010]本专利技术还提供一种基于图像分割及表面肌电信号的机器人示教方法。
[0011]本专利技术技术方案二如下：
[0012]基于图像分割及表面肌电信号的机器人示教方法，该方法采用了RGB-D相机、表面肌电信号传感器、机器人和计算机，所述表面肌电信号传感器穿戴在示教人员的小臂上，该方法执行如下步骤：所述RGB-D相机采集所述机器人的示教场景视频信息并发送至所述计算机，所述表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，所述计算机执行如下步骤：S1、从所述视频信息中识别出机器人关节臂；S2、从所述视频信
息中识别出人体关节；S3、检测出人体关节与机器人关节臂的接触部位；S4、根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向；S5、计算机发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。
[0013]更优地，所述步骤S1至S3具体如下：S1、通过已训练的深度学习图像分割网络将所述视频信息进行图像分割，识别出机器人的各关节臂及其类型，然后在视频图像中将不同的关节臂标注为不同颜色；S2、识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像分割及表面肌电信号的机器人示教系统，其特征在于：包括RGB-D相机、表面肌电信号传感器、机器人和计算机，所述RGB-D相机、表面肌电信号传感器以及机器人均与所述计算机通信连接，所述RGB-D相机采集所述机器人的示教场景视频信息并发送至所述计算机，所述表面肌电信号传感器穿戴在示教人员的小臂上，所述表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，所述计算机从所述视频信息中识别出机器人关节臂和人体关节并检测出人体关节与机器人关节臂的接触部位，所述计算机根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向，然后计算机发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。2.根据权利1所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述计算机内运行有机器人关节臂分割模块、人体关节分割模块和距离检测模块；所述机器人关节臂分割模块通过已训练的深度学习图像分割网络将所述视频信息进行图像分割，识别出机器人的各关节臂及其类型，然后在视频图像中将不同的关节臂标注为不同颜色；所述人体关节分割模块识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息；所述距离检测模块检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。3.根据权利2所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述计算机内还运行有表面肌电信号检测模块和机器人通信控制模块；所述表面肌电信号检测模块接收到信号检测指令后，根据接收到的表面肌电信号和惯性加速度信号判断人体关节与机器人关节臂接触后的施力大小和施力方向，然后将施力大小、施力方向以及人体所接触的机器人关节臂类型发送至所述机器人通信控制模块；所述机器人通信控制模块接收来自表面肌电信号检测模块发出的信息，根据所述机器人关节臂类型发出信号控制所接触的机器人关节臂与机器人基座之间的关节运动，根据所述施力方向控制所接触机器人关节臂的运动方向，根据所述施力大小控制所接触机器人关节臂的运动速度，同时，存储示教过程中机器人的运动参数；所述机器人通信控制模块接收到碰撞信号控制机器人立即停止运动，待碰撞信号取消后再继续控制机器人运行。4.根据权利3所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述距离检测模块具体执行如下步骤：S31、将所述机器人关节臂分割模块分割出的机器人各关节臂的深度图像及所述人体关节分割模块分割出的人体各关节的深度图像转换为点云；S32、对机器人不同关节臂的点云进行部位标注，对人体各关节的三维点云进行部位标注，生成点云标签；S33、将机器人各关节臂及人体各关节之间的点云进行碰撞检测，当检测到各部位点云
之间发生碰撞时进入步骤S4；S34、在示教模式下，查询与机器人关节臂发生碰撞的人体关节的点云标签，判断机器人关节臂与人体关节接触部位，如果是人体手部关节与机器人关节臂碰撞，则发送信号检测指令至表面肌电信号检测模块；否则，发出预警信号；在工作模式下，发出预警信号并发送碰撞信号至机器人通信控制模块，控制机器人暂停运行。5.根据权利3所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述计算机内还运行增强现实验证模块，其包括虚拟机器人模型，增强现实显示模块，AR注册卡，具体步骤如下：S61、使用机器人参数建立虚拟机器人三维模型，根据各关节臂的运动关系添加虚拟机器人关节DOF节点并建立父子关系，构建虚拟机器人运动学模型；S62、控制机器人运动，将机器人上的末端执行器依次放置在AR注册卡的四个角点上，当末端执行器到达AR注册卡的角点上时，通过机器人读取所述末端执行器的坐标值，获得所述AR注册卡角点在机器人坐标系下的坐标，由于所述AR注册卡四个角点在AR注册卡坐标系下的坐标已知，计算出AR注册卡坐标系到机器人坐标系之间的转换关系，在AR注册卡坐标系描述的虚拟机器人位置，通过所述转换关系转换到机器人坐标系下，将虚拟机器人模型与机器人重合；S63、在示教完成后，将虚拟机器人模型叠加到真实机器人的工作场景中，所述增强现实显示模块读取机器人通信控制模块示教时所记录的运动参数，虚...

【专利技术属性】
技术研发人员：潘勇，陈成军，李东年，赵正旭，洪军，
申请(专利权)人：青岛理工大学，
类型：发明
国别省市：