基于3D视觉传感器的双臂机器人控制方法及系统技术方案

本发明专利技术涉及机器人控制技术领域，具体公开一种基于3D视觉传感器的双臂机器人控制方法，包括以下步骤：S1、通过3D视觉传感器获取手臂骨骼点的深度图像；S2、对所述深度图像进行分析，得到手臂骨骼点的位置信息；S3、根据所述深度图像中手臂骨骼点的位置信息，获取所述深度图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；S4、将所述手臂骨骼的旋转角度发送给机器人控制器，所述控制器控制机器人执行对应动作。本发明专利技术有效的解决了现有通过鼠标和键盘、示教盒或穿戴设备等控制方式中存在的各种问题的技术效果。

Dual arm robot control method and system based on 3D vision sensor

The invention relates to the field of robot control technology, in particular to open a two arm robot control method based on 3D visual sensor, including the following steps: S1, obtain the depth image of the arm bone point through the 3D visual sensor; S2, analyze the depth image, get the position information of the arm bone point; S3, base The position of the arm bone point in the depth image is used to obtain the position relation of the skeleton point of the front and back frame in the depth image to calculate the rotation angle of the arm skeleton; S4, the rotation angle of the arm skeleton is sent to the robot controller, and the controller controls the robot to perform the corresponding action. The invention effectively solves the technical problems existing in various existing control modes such as mouse and keyboard, teaching box or wearable device.

【技术实现步骤摘要】
基于3D视觉传感器的双臂机器人控制方法及系统
本专利技术涉及机器人控制
，特别涉及一种基于3D视觉传感器的双臂机器人控制方法及系统。
技术介绍
目前的双臂机器人多是采用鼠标、键盘、操纵杆或示教盒一类的外部设备来对机器人进行控制，但是此类方法操作起来非常繁琐，人机交互性比较差。另外，使用一些穿戴设备来控制机器人的造价又比较昂贵。因此，摆脱传统通过外部设备控制机器人的方法的问题成为了亟需解决的问题。
技术实现思路
本专利技术旨在克服现有双臂机器人采用外部设备控制双臂，操作繁琐、交互性差的技术缺陷，提供一种基于3D视觉传感器的双臂机器人控制方法。为实现上述目的，本专利技术采用以下技术方案：一方面，本专利技术提供一种基于3D视觉传感器的双臂机器人控制方法，具体包括以下步骤：S1、通过3D视觉传感器获取手臂骨骼点的图像；S2、对所述图像进行分析，得到手臂骨骼点的位置信息；S3、根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；S4、将所述手臂骨骼的旋转角度发送给机器人控制器，所述控制器控制机器人执行与所述手臂所对应的动作。一些实施例中，所述3D视觉传感器包括RGB摄像机，红外线发射装置及用于接收红外线的摄像机。一些实施例中，所述3D视觉传感器所获取的图像包括深度图像及彩色图像。一些实施例中，步骤S2还包括以下步骤：通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。一些实施例中，所述步骤S3包括以下步骤：根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度；根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。此外，本专利技术还公开了一种基于3D视觉传感器的双臂机器人控制系统，包括以下模块：3D视觉传感器，用于获取手臂骨骼点的图像；图像分析模块，用于所述图像进行分析，得到手臂骨骼点的位置信息，以及根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；机器人控制器，用于接收所述手臂骨骼的旋转角度信息，执行与所述手臂所对应的动作。一些实施例中，所述图像分析模块，用于通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。一些实施例中，所述图像分析模块，还用于根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度，以及根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。此外，本专利技术还公开一种基于3D视觉传感器的双臂机器人，包括所述的3D视觉传感器的双臂机器人控制系统。本专利技术的有益效果在于：本专利技术通过3D视觉传感器来获取深度图像，并通过深度图像提取出人体双臂各骨骼点的三维数据点；对每个骨骼点进行跟踪，通过每一帧骨骼点的位置来计算机器人各轴的旋转角度，从而实现对机器人的控制，摆脱了传统通过外部设备对机器人控制方法的束缚。更加地，使用基于视觉的机器人控制方法不仅可以简单有效的对机器人进行实时控制，具有较高的人机交互性，同时还达到了适用于一些高危险、有毒性的环境的技术效果。附图说明图1为本专利技术一种基于3D视觉传感器的双臂机器人控制方法的流程图；图2为本专利技术一种基于3D视觉传感器的双臂机器人控制方法中3D视觉传感器的一个实施例；图3为本专利技术一种基于3D视觉传感器的双臂机器人控制方法中双臂骨骼点图；图4为本专利技术一种基于3D视觉传感器的双臂机器人控制方法一实施例中左臂骨骼点各坐标系图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，而不构成对本专利技术的限制。本专利技术的思路为：通过采用3D视觉传感器来获取深度图像，并机器人视觉分析器对获取到的深度图像进行分析，得到人体手臂骨骼点的位置信息，计算每一帧骨骼点在深度图像中的运动情况并发送给机器人控制器来转化成不同的动作，从而实现对机器人的控制。请参阅图1，为本专利技术一种基于3D视觉传感器的双臂机器人控制方法的流程图。本实施例中，基于3D视觉传感器的双臂机器人控制方法具体通过以下步骤实现：执行步骤S1，通过3D视觉传感器获取手臂骨骼点的图像。所获取的图像包括深度图像和彩色图像。如图2所示，本专利技术一个实施例中，3D视觉传感器由一个RGB摄像机，一个红外线发射装置和一个用于接收红外线的摄像机所组成。其中，RGB摄像机用来获取彩色图像，红外线发射器和红外线接收相机用来获取深度图像。所获取的彩色图像和深度图像的分辨率均为640×480，且每秒最多可拍摄30帧图像。执行步骤S2，对3D视觉传感器所获得的深度图像进行分析，得到手臂骨骼点的位置信息。如图3所示，本专利技术人体双臂由7个骨骼节点组成，分别为左手、左手肘、左肩膀、肩膀中心、右肩膀、右手肘、右手。其中肩膀中心为骨骼基点，也为左肩膀的父骨骼点。依此类推，左肩膀为左手肘父骨骼点、左手肘为左手父骨骼点，右手臂同理。在本步骤中，使用背景相减的方法从深度图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。具体地，以左手臂为例，以左肩膀臂骨骼点为原点建立如图4所示的左手臂基坐标系，则左肩膀骨骼点坐标为(0，0，0)。通过3D传感器得到左手臂各个骨骼点相对于左肩膀骨骼点基坐标系的坐标点。执行步骤S3，根据所述深度图像中手臂骨骼点的位置信息，获取所述深度图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度。由于使用运动学逆运算的方式来求各关节旋转角度会出现多解情况，且其运动路径也不一定是实际手臂的运动路径，所以本专利技术直接计算各个骨骼节点的旋转情况并对应控制机器人各轴进行相同角度转动，从而实现对机器人的控制。根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋转角度；根据所述前后帧的肩骨骼点的相对位置信息，计算肩骨骼点两个自由度的旋转角度。具体地，结合图4，以左手臂骨骼点的计算过程为例，左肩膀骨骼点与左肘骨骼点相连组成左手臂的上臂，且设为上臂为l1。通过对人体上臂进行分析可知，在左肩膀骨骼点处由两个自由度组成，分别为上臂l1在YOZ平面绕X轴转动(对应机器人1轴)和在XOZ平面绕Y轴转动(对应机器人2轴)。根据所获取的每帧图像中左肘骨骼点在左肩膀骨骼点基坐标系的三维坐标点(x1，y1，z1)即可分别计算出上臂l1在YOZ平面及XOZ平面的转动角度。限定上臂l1在YOZ平面内只在Y正象限范围转动，即转动范围为±90度，所以则转动角限定上臂l1在XOZ平面内只在X正象限范围转动，即转动范围为±90度，所以则转动角左肘骨骼点与左手骨骼点相连组成左手臂的下臂，设为下臂为l2。且下臂在左肘骨骼点处也由两个自由度组成。分别为l2在Y1O1Z1平面绕Y1轴转动(对应机器人3轴)和在X1O1Y1平面绕Z1轴转动(对应机器人4轴)。根据每帧中手骨骼点在肩膀骨骼点基坐标系的三维坐标点(x2，y2，z2)即可计算出下臂l2在Y1O1Z1平面及X1O1Y1平面的转动角度本文档来自技高网...

【技术保护点】
一种基于3D视觉传感器的双臂机器人控制方法，其特征在于，包括以下步骤：S1、通过3D视觉传感器获取手臂骨骼点的图像；S2、对所述图像进行分析，得到手臂骨骼点的位置信息；S3、根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；S4、将所述手臂骨骼的旋转角度发送给机器人控制器，所述控制器控制机器人执行与所述手臂所对应的动作。

【技术特征摘要】
1.一种基于3D视觉传感器的双臂机器人控制方法，其特征在于，包括以下步骤：S1、通过3D视觉传感器获取手臂骨骼点的图像；S2、对所述图像进行分析，得到手臂骨骼点的位置信息；S3、根据所述图像中手臂骨骼点的位置信息，获取所述图像中前后帧骨骼点的位置关系，以计算所述手臂骨骼的旋转角度；S4、将所述手臂骨骼的旋转角度发送给机器人控制器，所述控制器控制机器人执行与所述手臂所对应的动作。2.如权利要求1所述的基于3D视觉传感器的双臂机器人控制方法，其特征在于，所述3D视觉传感器包括RGB摄像机，红外线发射装置及用于接收红外线的摄像机。3.如权利要求2所述的基于3D视觉传感器的双臂机器人控制方法，其特征在于，所述3D视觉传感器所获取的图像包括深度图像及彩色图像。4.如权利要求2所述的基于3D视觉传感器的双臂机器人控制方法，其特征在于，步骤S2还包括以下步骤：通过背景相减从所述图像中提取出人的主体形状，再利用形状信息来定位人体的各个骨骼点，并得到骨骼点的三维坐标，从而得到手臂骨骼点的位置信息。5.如权利要求1所述的基于3D视觉传感器的双臂机器人控制方法，其特征在于，所述步骤S3包括以下步骤：根据所述前后帧的肘骨骼点的位置关系，计算肘骨骼点两个自由度的旋...

【专利技术属性】
技术研发人员：姜楠，潘鑫，李邦宇，宋健，张涛，刘世昌，王宇卓，
申请(专利权)人：沈阳新松机器人自动化股份有限公司，
类型：发明
国别省市：辽宁,21