一种基于多自由度机械臂视觉抓取方法技术

本发明专利技术公开了一种基于多自由度机械臂视觉抓取方法，步骤S1、通过手眼标定,完成相机相对于机械臂末端的坐标变换；根据识别到物体的姿态，提取旋转矩阵转换成欧拉角rpy，结合求解的欧拉角rpy，将机械臂末端进行旋转，使机械臂抓取姿态与目标物体相平行；步骤S2、提取位置向量并控制机械臂，使相机运动到物体中心点正上方，有利于对目标物体进行完整的识别；步骤S3、根据对目标物体二次识别的位置，控制机械臂运动到目标位置，完成机械臂的抓取任务；步骤S4、机器人准确抓取目标物体并放置到指定的地方。本发明专利技术基于融合物体识别数据对机械臂进行运动控制方法，通过三步调整策略能够提高机械臂抓取的精度。械臂抓取的精度。械臂抓取的精度。

【技术实现步骤摘要】
一种基于多自由度机械臂视觉抓取方法


[0001]本专利技术涉及融合物体识别数据对机械臂进行运动控制
，特别地是一种基于多自由度机械臂视觉抓取方法。

技术介绍

[0002]在机器人的抓取过程中，经常需要对抓取位姿进行多次调整，尤其是在环境比较复杂的施工现场，如工业现场的工件上下料，当装配工艺不同时需要不同类的工件，由于工业设备装配精度要求高，要求机械臂对工件抓取精度要比较高才能满足需求。
[0003]目前工业上下料大都采用了机械臂加视觉分拣技术完成，在机械臂视觉抓取部分，采用的一般方法是：当需要对某一类工件进行上下料时，先对工件的位姿进行识别，通过获取到的位姿进行机械臂运动学的求解，控制机械臂完成物料的上下料。目前这种方法在机械臂的抓取过程中，完全依赖工件位姿的识别对机械臂进行运动规划，非常简单方便，但由于相机视野的限制，使得视觉识别具有独占性和偶然性，从而影响到其他工序的实时性。对于一些环境较为复杂、较多工件数的识别任务而言，这种处理方法使得上下料稳定性不够，完成的效率不高，当大量识别不成功时，将导致程序一直在等待，严重的将导致任务发生故障，需要人工干预恢复，产生生产安全隐患。因此，无论从系统的稳定运行，还是从生产安全防范来说，都迫切需要一种技术方法来避免上述问题。
[0004]中国专利(CN109454638A)公开了一种基于视觉引导的机器人抓取系统，包括通过在三个阶段上识别来完成抓取，第一阶段通过手眼标定确定相机相对于机械臂坐标变换，第二阶段根据模板匹配来完成目标工件的坐标换算，第三阶段根据对目标工件运动状态的估算完成目标工件的抓取。其中，相机是固定到传送带上，可以增大相机对物体拍摄的视野。虽然上述方法适当减少了工作环境或目标对象发生变化，机器人不够及时适应这种变化，提高抓取成功率，但是由于传送带一直在运动，目标工件的运动状态是估算出来的，还存在一定概率抓取不到，抓取精度方面仍有待改进。

技术实现思路

[0005]本专利技术的目的在于提供一种基于融合物体识别数据对机械臂进行运动控制方法，通过三步调整策略能够提高机械臂抓取的精度。
[0006]本专利技术通过以下技术方案实现的：
[0007]一种基于多自由度机械臂视觉抓取方法，包括以下步骤：
[0008]步骤S1、通过手眼标定,完成相机相对于机械臂末端的坐标变换；根据识别到物体的姿态，提取旋转矩阵转换成欧拉角rpy，结合求解的欧拉角rpy，将机械臂末端进行旋转，使机械臂抓取姿态与目标物体相平行；
[0009]步骤S2、提取位置向量并控制机械臂，使相机运动到物体中心点正上方，有利于对目标物体进行完整的识别；
[0010]步骤S3、根据对目标物体二次识别的位置，控制机械臂运动到目标位置，完成机械
臂的抓取任务；
[0011]步骤S4、机器人准确抓取目标物体并放置到指定的地方。
[0012]进一步地，包括三步法流程，该三步法流程包括：
[0013]姿态调整、相机正对物体中心和识别抓取；
[0014]姿态调整负责物体姿态四元数的获取和姿态的调整，使用C++四元数转欧拉角库函数将四元数转欧拉角，得到物体相对于相机的姿态变化，通过获取到的姿态，根据判断逻辑完成姿态的调整；
[0015]相机正对物体中心主要完成根据获取到物体相对于相机的位置，控制机械臂运动，完成物体中心位于相机视野的正下方；
[0016]识别抓取负责对物体识别位置数据的更新，并通过获取到的位置数据完成目标物体的抓取。
[0017]进一步地，包括三步法调整策流程，该三步法调整策流程包括：
[0018]步骤201：位于机械臂末端的相机根据识别到的物体并获取物体姿态四元数，并将四元数传递给系统进行处理；
[0019]步骤202：接收到传递的四元数，机器人调用相关的库函数完成四元数转欧拉角的变换，并提取出偏航角Y；
[0020]步骤203：机器人接收到处理后的偏航角Y，根据偏航角Y的数值是否为0
°
来判断该位姿是否需要调整，如果是，则进入步骤205；否则，进入步骤204进行调整；
[0021]步骤204：根据偏航角Y的数值是否大于90
°
来判断该位姿调整的方向，如果是，则进入步骤206；否则，进入步骤207进行调整；
[0022]步骤205：根据偏航角Y为0
°
的结果，认为相机姿态与物体平行，不需要调整姿态，直接进入步骤208；
[0023]步骤206：根据偏航角Y大于90
°
的结果，认为相机求解的姿态与物体相差较大的较大，需要调整转动的角度，调整后的角度为Y＝180
°‑
Y，调整后直接进入步骤207；
[0024]步骤207：根据偏航角Y，对机械臂末端进行转动，完成相机与物体位姿平行的调整，MoveR()函数直接对机械臂末端进行旋转，调整后直接进入步骤208；
[0025]步骤208：调整结束，完成姿态调整。
[0026]进一步地，包括相机正对物体中心流程，该相机正对物体中心流程具体包括：
[0027]步骤301：通过手眼标定获取相机相对于末端的x0,y0,z0；
[0028]步骤302：通过对物体的二次识别，获取物体相对于相机的位置x1,y1；
[0029]步骤303：根据获取到的位置数据，控制机械臂运动x1,y1的偏差，z方向高度不变，其中MoveL()函数主要是控制机械臂做直线运动；
[0030]步骤304：通过位置调整，使相机正对物体中心
[0031]进一步地，包括物体识别抓取流程，该物体识别抓取流程具体包括：
[0032]步骤401：通过对物体的第三次识别，获取物体相对于相机的位置x2,y2，z2；
[0033]步骤402：先控制机械臂运动到物体正上方，其中高度不变；
[0034]步骤403：先控制机械臂在物体正上方对物体进行抓取；
[0035]步骤404：完成物体抓取任务。
[0036]本专利技术的有益效果：
[0037]本专利技术通过修改识别流程，将相机识别位置从可能识别不到的位置到正对识别位置，有效的解决了目标工件识别的偏差和识别不到的问题。同时，由于增加了姿态校准，提高了抓取的成功率，减少与目标工件的碰撞。主要优点如下：
[0038]1、提高了目标物体识别位姿精度和抓取成功率
[0039]传统的一次识别一次抓取的方法，容易在识别偏差的前提下，完成不了抓取或者与目标工件会发生碰撞。而通过修改识别流程，增加相机识别位姿的校准，把相机控制到正对识别的范围内，减少识别产生的偏差，提高目标工件的抓取成功率；
[0040]2、优化对环境自适应
[0041]传统的工业机器人通过示教器或者控制面板提前完成机器人抓取点位的示教，但环境发生变化时，机器人难以完成目标物体的抓取。当使用了本技术，机器人可以及时适应环境的变化，提高机器人的灵活性和工作效率。...

【技术保护点】

【技术特征摘要】
1.一种基于多自由度机械臂视觉抓取方法，其特征在于，包括以下步骤：步骤S1、通过手眼标定,完成相机相对于机械臂末端的坐标变换；根据识别到物体的姿态，提取旋转矩阵转换成欧拉角rpy，结合求解的欧拉角rpy，将机械臂末端进行旋转，使机械臂抓取姿态与目标物体相平行；步骤S2、提取位置向量并控制机械臂，使相机运动到物体中心点正上方，有利于对目标物体进行完整的识别；步骤S3、根据对目标物体二次识别的位置，控制机械臂运动到目标位置，完成机械臂的抓取任务；步骤S4、机器人准确抓取目标物体并放置到指定的地方。2.根据权利要求1所述的一种基于多自由度机械臂视觉抓取方法，其特征在于：包括三步法流程，该三步法流程包括：姿态调整、相机正对物体中心和识别抓取；姿态调整负责物体姿态四元数的获取和姿态的调整，使用C++四元数转欧拉角库函数将四元数转欧拉角，得到物体相对于相机的姿态变化，通过获取到的姿态，根据判断逻辑完成姿态的调整；相机正对物体中心主要完成根据获取到物体相对于相机的位置，控制机械臂运动，完成物体中心位于相机视野的正下方；识别抓取负责对物体识别位置数据的更新，并通过获取到的位置数据完成目标物体的抓取。3.根据权利要求1所述的一种基于多自由度机械臂视觉抓取方法，其特征在于：包括三步法调整策流程，该三步法调整策流程包括：步骤201：位于机械臂末端的相机根据识别到的物体并获取物体姿态四元数，并将四元数传递给系统进行处理；步骤202：接收到传递的四元数，机器人调用相关的库函数完成四元数转欧拉角的变换，并提取出偏航角Y；步骤203：机器人接收到处理后的偏航角Y，根据偏航角Y的数值是否为0
°
来判断该位姿是否需要调整，如果是，则进入步骤205；否则，进入步骤204进行...

【专利技术属性】
技术研发人员：李伟政，叶智豪，罗孝鑫，罗科，杨浩文，庄雁淳，方富东，
申请(专利权)人：广州慧谷动力科技有限公司，
类型：发明
国别省市：