多机器人协同上下料的视觉引导方法及系统技术方案

本发明专利技术公开了多机器人协同上下料的视觉引导方法及系统，包括：图像处理单元将识别到的AGV机器人当前位姿分别发送给协同模块、机械臂控制模块与AGV机器人控制模块；协同模块得到机械臂目标位姿和AGV机器人的目标位姿，AGV机器人控制模块收到AGV机器人当前位姿与AGV机器人的目标位姿后，分别计算出AGV机器人的左轮和右轮的运行速度并发送给AGV机器人，控制AGV机器人运动至AGV机器人的目标位姿；机械臂控制模块根据机械臂的当前位姿和收到的机械臂目标位姿，控制机械臂运动至机械臂目标位姿。通过本发明专利技术实现了机械臂与AGV的协同配合，提高了机械臂工作空间的柔性。提高了机械臂工作空间的柔性。提高了机械臂工作空间的柔性。

【技术实现步骤摘要】
多机器人协同上下料的视觉引导方法及系统


[0001]本专利技术涉及控制领域，具体是多机器人协同上下料的视觉引导方法及系统。

技术介绍

[0002]本方案以被广泛用于机器人开发的ROS系统为平台，降低开发难度，提高系统扩展性；采用单目全局视觉作为传感器并使用ArUco Tag作为标志物，研究低成本高稳定性的机械臂和AGV同一视场视觉识别；并基于ROS开发了多机器人机床上下料视觉协作系统，实现了工作区间任意指定位置的上下料接驳，避免了传统固定式上下料托盘与AGV精确定位的难题，为机床上下料技术提供了一种低成本、易维护、高扩展性的解决方案。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供多机器人协同上下料的视觉引导方法，包括如下过程：图像处理单元采用ArUco Tag识别算法识别相机采集到的图像中的AGV机器人当前位姿，将识别到的AGV机器人当前位姿分别发送给协同模块、机械臂控制模块与AGV机器人控制模块；协同模块根据设置的工作区域位置和根据AGV机器人ID识别得到的工作任务，通过协同算法计算AGV机器人的目标位姿，然后根据AGV机器人的目标位姿或者获取的指定工件的当前位姿，通过协同算法得到机械臂目标位姿；AGV机器人控制模块收到AGV机器人当前位姿与AGV机器人的目标位姿后，分别计算出AGV机器人的左轮和右轮的运行速度并发送给AGV机器人，控制AGV机器人运动至AGV机器人的目标位姿；机械臂控制模块根据机械臂的当前位姿和收到的机械臂目标位姿，将运动指令发送至Moveit，并由Moveit通过逆运动学求解得到机械臂关节角度，通信节点接收到机械臂关节角度后，将机械臂关节角度转化为动态指令，通过TCP/IP通信发送给机械臂，控制机械臂运动至机械臂目标位姿；其中的Moveit是ROS系统中包含的机器人相关工具集；AGV机器人到达AGV机器人的目标位姿且机械臂到达机械臂目标位姿，完成引导。
[0004]进一步的，所述的协同模块根据设置的工作区域位置和根据AGV机器人ID识别得到的工作任务，通过协同算法计算AGV机器人的目标位姿，然后根据AGV机器人的目标位姿或者获取的指定工件的当前位姿，通过协同算法得到机械臂目标位姿，包括：AGV机器人目标位姿的目标点像素坐标，计算公式如下：,其中的（，）为AGV机器人的中心点像素坐标；（，）为相机光轴对应的像素坐标，H为相机镜头到地面的高度，为AGV的高度；
机械臂目标位姿对目标点像素坐标进行转换，得到机械臂的目标位姿：,为相机坐标系下机械臂目标位姿的目标点的XYZ坐标，其中为预先设定值；为内参标定值；为目标点像素坐标，协同方式为机械臂末端与AGV机器人中心位于图像中相同位置，即：,为相机坐标系下目标点四元数，为沿X轴旋转角度四元数、为沿y轴旋转角度的四元数、为沿Z轴旋转角度的四元数。
[0005]进一步的，所述的AGV机器人控制模块收到AGV机器人当前位姿与AGV机器人的目标位姿后，计算出AGV机器人的左轮和右轮的运行速度并发送给AGV机器人，控制AGV机器人运动至AGV机器人的目标位姿，包括：AGV机器人的运动方程为：,其中分别为AGV的右轮和左轮转速，为AGV机器人目标位姿，为AGV机器人当前位姿，为从当前位姿移动到目标位姿需要的时间，将v设为固定值u，则左右轮速度为：,AGV机器人的当前位姿与目标位姿确定两个位置点以及朝向，以及朝向，从两个位置点、沿各自朝向做延长线交于一点，得到，有,
以三点作为控制点做二次方贝塞尔曲线，使AGV机器人从当前位姿移动到目标位姿，曲线为：,,为步长，二次方贝塞尔曲线上任一点切线的朝向角度为：,得到中间点，及对应的切线方向，将中间点的位姿作为目标点得出左右轮的速度，为二次方贝塞尔曲线的导数。
[0006]应用述的多机器人协同上下料的视觉引导方法的多机器人协同上下料的视觉引导系统，包括桁架、机械臂、AGV、ArUco Tag标志物；所述的ArUco Tag标志物设置在AGV上，所述的相机设置在桁架的横梁上，包括机械臂控制模块、AGV控制模块、图像处理单元、协同模块、识别模块；所述的相机与所述的图像处理单元连接，所述的图像单元与所述的识别模块连接，所述的协同模块、机械臂控制模块、AGV控制模块分别与所述的识别模块连接，所述的机械臂控制模块、AGV控制模块还分别与所述的协同模块连接。
[0007]本专利技术的有益效果是：通过本专利技术所提供的技术方案，通过控制系统对机械臂的有效控制，实现了机械臂与AGV的协同配合，提高了机械臂工作空间的柔性。
附图说明
[0008]图1为多机器人协同上下料的视觉引导方法的流程示意图；图2为多机器人协同上下料的视觉引导系统的原理示意图；图3为ArUco Tag 识别流程示意图；图4为像素坐标与世界坐标的坐标转换关系示意图；图5为机械臂控制流程示意图；图6为相机成像原理与目标点偏移示意图；图7为AGV运动模型示意图。
具体实施方式
[0009]下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。
[0010]为了使本专利技术的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术，即所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0011]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另
一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0012]而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
[0013]以下结合实施例对本专利技术的特征和性能作进一步的详细描述。
[0014]如图1所示，多机器人协同上下料的视觉引导方法，包括如下过程：图像处理单元采用ArUco Tag识别算法识别相机采集到的图像中的AGV机器人位姿，将识别到的AGV机器人当前位姿分别发送给协同模块、机械臂控制模块与AGV机器人控制模块；协同模块根据AGV机器人当前位姿通过协同算法，分别得到机械臂目标位姿和AGV机器人的目标位姿，将机械臂目标位姿发送给机械臂控制模块，将AGV机器人的目标位姿发送给AGV机器人控制模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多机器人协同上下料的视觉引导方法，其特征在于，包括如下过程：图像处理单元采用ArUco Tag识别算法识别相机采集到的图像中的AGV机器人当前位姿，将识别到的AGV机器人当前位姿分别发送给协同模块、机械臂控制模块与AGV机器人控制模块；协同模块根据设置的工作区域位置和根据AGV机器人ID识别得到的工作任务，通过协同算法计算AGV机器人的目标位姿，然后根据AGV机器人的目标位姿或者获取的指定工件的当前位姿，通过协同算法得到机械臂目标位姿；AGV机器人控制模块收到AGV机器人当前位姿与AGV机器人的目标位姿后，分别计算出AGV机器人的左轮和右轮的运行速度并发送给AGV机器人，控制AGV机器人运动至AGV机器人的目标位姿；机械臂控制模块根据机械臂的当前位姿和收到的机械臂目标位姿，将运动指令发送至Moveit，并由Moveit通过逆运动学求解得到机械臂关节角度，通信节点接收到机械臂关节角度后，将机械臂关节角度转化为动态指令，通过TCP/IP通信发送给机械臂，控制机械臂运动至机械臂目标位姿；其中的Moveit是ROS系统中包含的机器人相关工具集；AGV机器人到达AGV机器人的目标位姿且机械臂到达机械臂目标位姿，完成引导。2.根据权利要求1所述的多机器人协同上下料的视觉引导方法，其特征在于，所述的协同模块根据设置的工作区域位置和根据AGV机器人ID识别得到的工作任务，通过协同算法计算AGV机器人的目标位姿，然后根据AGV机器人的目标位姿或者获取的指定工件的当前位姿，通过协同算法得到机械臂目标位姿，包括：AGV机器人目标位姿的目标点像素坐标 ，计算公式如下：,其中的（，）为AGV机器人的中心点像素坐标；（，）为相机光轴对应的像素坐标，H为相机镜头到地面的高度，为AGV机器人的高度；机械臂目标位姿对目标点像素坐标进行转换，得到机械臂的目标位姿：,为相机坐标系下机械臂目标位姿的目标点的XYZ坐标...

【专利技术属性】
技术研发人员：陈海军，樊虹岐，吕丞干，胡晓兵，殷鸣，雷永志，谢龙德，
申请(专利权)人：宜宾四川大学产业技术研究院四川德恩精工科技股份有限公司，
类型：发明
国别省市：