一种多机器人协作分拣运输方法及系统技术方案

本发明专利技术公开了一种多机器人协作分拣运输方法及系统，包括提出ARtag码识别、多相机融合定位和运动补偿相结合的方法完成对多移动机器人的实时识别与定位；同时采用卷积神经网络模型对目标物料进行识别分类，并通过相机定位获得目标的位置信息；接着根据实际需求和物料目标的类别以及位置信息完成分拣机器人、运输机器人的任务分配，最后通过路径规划算法、TCP协议驱动和PID闭环控制算法实时无线控制机器人协作完成分拣运输工作，极大提高了分拣运输效率，并在相对复杂的环境下也有良好的稳定性，具有识别定位准确、分拣效率高且搬运能力强的优点。

A multi robot collaborative sorting and transportation method and system

【技术实现步骤摘要】
一种多机器人协作分拣运输方法及系统
本专利技术涉及视觉分拣运输
，特别是涉及一种多机器人协作分拣运输方法及系统。
技术介绍
随着工业发展，物料分拣搬运的自动化需求不断增加。基于视觉的分拣系统主要通过将摄像头采集的图像进行处理，通过轮廓、颜色等特征提取，识别和定位目标，根据这些结果控制机器人完成对物料的分拣与搬运。这种将视觉与机器人相结合的方法，具有速度快、灵活性强、高可靠等特点。然而，对于工作环境较复杂情况下的识别、定位精度有待提高，同时对于种类多、分布密集的物料分拣时，单个机器人的分拣效率低，且搬运能力有限。故此，如何研发一套识别定位准确、分拣效率高且搬运能力强的多机器人协作分拣运输方法及系统，成了本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提出一种多机器人协作分拣运输方法及系统，能在较复杂的工作环境下提高识别、定位精度并且能够高效、稳定完成对于种类多、分布密集物料的分拣运输。一方面，本专利技术提供了一种多机器人协作分拣运输方法，包括以下步骤：S1，构建图像采集单元所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头，用于对工作场地进行监控，多个所述网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器；S2，构建任务控制执行单元所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人均在工作场地的监控区域内移动，并受控于中央处理服务器；S3，通过图像采集单元采集工作场地图像；S4，进行相机标定及相机与物料台位置标定，得到各相机的内参数、像素平面与相机坐标系以及相机坐标系与世界坐标系的映射关系，并建立世界坐标系，同时判断标定是否成功，若是，则进入步骤S5，反之，则返回步骤S3；S5，通过图像采集单元采集下一帧工作场地图像；S6，利用图像采集单元采集的所有帧工作场地图像，分别对工作场地内的各机器人、物料识别与定位，具体步骤如下：S61，分别对工作场地内各机器人贴设的ARtag码进行检测与识别，并判断是否检测识别成功，若是，则进入步骤S62，反之，则返回步骤S5；S62，对识别到的ARtag码进行筛选、解码并匹配到目标机器人，得到在不同相机上机器人的ARtag码的像素中心坐标和世界坐标系下的姿态信息；S63，根据得到的机器人ARtag码像素位置信息以及各相机的内参数，去除网络监控摄像头的延时影响，再通过多相机融合定位算法，实时识别并定位世界坐标系中的机器人位置；S64，识别和定位物料台上的物料，并判断物料是否识别和定位成功，若是，则进入步骤S7，反之，则返回步骤S5；S7，输出机器人位姿信息和物料位置信息，并根据机器人位姿信息和物料位置信息完成分拣运输任务的分配；S8，根据工作场地内已知障碍物位置，完成各机器人的路径规划；S9，中央处理服务器根据得到的机器人、物料位置信息作为参考信号，使用PID闭环控制算法控制各机器人按照步骤S8中规划好的路径完成分拣运输工作。进一步地，步骤S4中相机标定及相机与物料台位置标定的具体过程如下：S41，同一相机对不同位置、角度的同一标定拍摄多张图片进行图像采集，提取标定板内角点的世界坐标和像素坐标；S42，通过张正友相机标定法，得到各个相机参数标定；S43，通过步骤S41中建立的世界坐标和像素坐标，对应点对解输出相机内参矩阵、外参旋转矩阵以及平移向量；S44，将ARtag码作为标定码，放置于物料台的边角处，多个摄像头同时采集一帧图像；S45，对图像进行ARtag码检测识别，得到该码四个角的像素坐标并更新相机外参数；S46，判断相机是否被移动，若是，则返回步骤S44，反之，则进入步骤S47；S47，以该标定码中心为参考坐标系原点、物料台平面为XY平面建立参考坐标系，根据ARtag码识别结果，得到多个摄像头与该参考坐标系的转换矩阵。进一步地，步骤S61中ARtag码进行检测与识别的具体过程如下：S611，将采集到的所有帧工作场地图像进行阈值化，得到二值图像，接着进行轮廓检测；S612，经过滤波筛选，定位得到有效的ARtag码所在图像中的区域；S613，对步骤S612定位得到的区域进行仿射变换，得到ARtag码中的图案轮廓，接着读取比特位进行解码，得到图像中ARtag码对应的ID号和四个角的像素坐标，计算可得中心坐标；S614，对每个码进行PnP解码，得到每个ARtag码在图像中的姿态；S615，判断PnP解码是否成功，若是，则进入步骤S616；反之，则返回步骤S5；S616，输出ARtag码ID号、中心像素坐标和ARtag码姿态。进一步地，步骤S63中多相机融合定位算法根据多个相机的内外参数和ARtag码世界坐标中心点投影在多个相机上的像素坐标点，计算得到该ARtag码世界坐标中心点的世界坐标，具体表现为：S631，推导相机、世界坐标系映射公式，相机标定的映射公式如下：式中，P为ARtag码世界坐标中心点，n为摄像头的相机数量，Zc1、Zc2、…Zcn分别为P对于相机1、2、...n在投影点的深度信息，M1、R1、T1，M2、R2、T2，...Mn、Rn、Tn分别为相机1、2、...n的相机参数；S632，移项、代换得到向量H，H表示为：式中，I为3*3的单位矩阵，K1、K2、Kn均为中间变量，其中，式中，R1-1、R2-1、Rn-1分别为相机外参旋转矩阵R1、R2、Rn的逆矩阵，M1-1、M2-1和Mn-1分别为相机内参矩阵M1、M2和Mn的逆矩阵；S633，对向量H进行SVD分解，H表示为：H＝UΣV*(11)式中，U、V表示酉矩阵，Σ为半正定对角矩阵；S634，通过如下公式计算得到ARtag码世界坐标中心点的世界坐标式中，H+为H的伪逆矩阵，Q为中间变量，其表达式如下：其中，B1、B2和Bn均为中间变量：式中，0为三维零向量。进一步地，所述步骤S63中通过运动补偿算法去除网络监控摄像头的延时影响，具体表现为：(a)在完成ARtag码识别与多相机融合定位得到机器人在ts秒之前的位置ARtag码世界坐标中心点P的前提下，通过机器人上的陀螺仪传感器实时采集机器人ts秒内的线速度v(t)与角速度ω(t)，其中，t∈[0,ts]；(b)机器人当前实际位置为：P'＝P+Δx(14)其中，Δx为ts秒时间段内机器人的位移，即：其中，rv(t)表示机器人在ts秒内某时刻的线速度矢量，复数形式为：rv(t)＝v(t)ejθ(t)(16)式中，θ(t)为本文档来自技高网...

【技术保护点】
1.一种多机器人协作分拣运输方法，其特征在于，包括以下步骤：/nS1，构建图像采集单元/n所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头，用于对工作场地进行监控，多个所述网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器；/nS2，构建任务控制执行单元/n所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人均在工作场地的监控区域内移动，并受控于中央处理服务器；/nS3，通过图像采集单元采集工作场地图像；/nS4，进行相机标定及相机与物料台位置标定，得到各相机的内参数、像素平面与相机坐标系以及相机坐标系与世界坐标系的映射关系，并建立世界坐标系，同时判断标定是否成功，若是，则进入步骤S5，反之，则返回步骤S3；/nS5，通过图像采集单元采集下一帧工作场地图像；/nS6，利用图像采集单元采集的所有帧工作场地图像，分别对工作场地内的各机器人、物料识别与定位，具体步骤如下：/nS61，分别对工作场地内各机器人贴设的ARtag码进行检测与识别，并判断是否检测识别成功，若是，则进入步骤S62，反之，则返回步骤S5；/nS62，对识别到的ARtag码进行筛选、解码并匹配到目标机器人，得到在不同相机上机器人的ARtag码的像素中心坐标和世界坐标系下的姿态信息；/nS63，根据得到的机器人ARtag码像素位置信息以及各相机的内参数，去除网络监控摄像头的延时影响，再通过多相机融合定位算法，实时识别并定位世界坐标系中的机器人位置；/nS64，识别和定位物料台上的物料，并判断物料是否识别和定位成功，若是，则进入步骤S7，反之，则返回步骤S5；/nS7，输出机器人位姿信息和物料位置信息，并根据机器人位姿信息和物料位置信息完成分拣运输任务的分配；/nS8，根据工作场地内已知障碍物位置，完成各机器人的路径规划；/nS9，中央处理服务器根据得到的机器人、物料位置信息作为参考信号，使用PID闭环控制算法控制各机器人按照步骤S8中规划好的路径完成分拣运输工作。/n...

【技术特征摘要】
1.一种多机器人协作分拣运输方法，其特征在于，包括以下步骤：
S1，构建图像采集单元
所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头，用于对工作场地进行监控，多个所述网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器；
S2，构建任务控制执行单元
所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人均在工作场地的监控区域内移动，并受控于中央处理服务器；
S3，通过图像采集单元采集工作场地图像；
S4，进行相机标定及相机与物料台位置标定，得到各相机的内参数、像素平面与相机坐标系以及相机坐标系与世界坐标系的映射关系，并建立世界坐标系，同时判断标定是否成功，若是，则进入步骤S5，反之，则返回步骤S3；
S5，通过图像采集单元采集下一帧工作场地图像；
S6，利用图像采集单元采集的所有帧工作场地图像，分别对工作场地内的各机器人、物料识别与定位，具体步骤如下：
S61，分别对工作场地内各机器人贴设的ARtag码进行检测与识别，并判断是否检测识别成功，若是，则进入步骤S62，反之，则返回步骤S5；
S62，对识别到的ARtag码进行筛选、解码并匹配到目标机器人，得到在不同相机上机器人的ARtag码的像素中心坐标和世界坐标系下的姿态信息；
S63，根据得到的机器人ARtag码像素位置信息以及各相机的内参数，去除网络监控摄像头的延时影响，再通过多相机融合定位算法，实时识别并定位世界坐标系中的机器人位置；
S64，识别和定位物料台上的物料，并判断物料是否识别和定位成功，若是，则进入步骤S7，反之，则返回步骤S5；
S7，输出机器人位姿信息和物料位置信息，并根据机器人位姿信息和物料位置信息完成分拣运输任务的分配；
S8，根据工作场地内已知障碍物位置，完成各机器人的路径规划；
S9，中央处理服务器根据得到的机器人、物料位置信息作为参考信号，使用PID闭环控制算法控制各机器人按照步骤S8中规划好的路径完成分拣运输工作。


2.根据权利要求1所述的多机器人协作分拣运输方法，其特征在于，步骤S4中相机标定及相机与物料台位置标定的具体过程如下：
S41，同一相机对不同位置、角度的同一标定拍摄多张图片进行图像采集，提取标定板内角点的世界坐标和像素坐标；
S42，通过张正友相机标定法，得到各个相机参数标定；
S43，通过步骤S41中建立的世界坐标和像素坐标，对应点对解输出相机内参矩阵、外参旋转矩阵以及平移向量；
S44，将ARtag码作为标定码，放置于物料台的边角处，多个摄像头同时采集一帧图像；
S45，对图像进行ARtag码检测识别，得到该码四个角的像素坐标并更新相机外参数；
S46，判断相机是否被移动，若是，则返回步骤S44，反之，则进入步骤S47；
S47，以该标定码中心为参考坐标系原点、物料台平面为XY平面建立参考坐标系，根据ARtag码识别结果，得到多个摄像头与该参考坐标系的转换矩阵。


3.根据权利要求1所述的多机器人协作分拣运输方法，其特征在于，步骤S61中ARtag码进行检测与识别的具体过程如下：
S611，将采集到的所有帧工作场地图像进行阈值化，得到二值图像，接着进行轮廓检测；
S612，经过滤波筛选，定位得到有效的ARtag码所在图像中的区域；
S613，对步骤S612定位得到的区域进行仿射变换，得到ARtag码中的图案轮廓，接着读取比特位进行解码，得到图像中ARtag码对应的ID号和四个角的像素坐标，计算可得中心坐标；
S614，对每个码进行PnP解码，得到每个ARtag码在图像中的姿态；
S615，判断PnP解码是否成功，若是，则进入步骤S616；反之，则返回步骤S5；
S616，输出ARtag码ID号、中心像素坐标和ARtag码姿态。


4.根据权利要求3所述的多机器人协作分拣运输方法，其特征在于，步骤S63中多相机融合定位算法根据多个相机的内外参数和ARtag码世界坐标中心点投影在多个相机上的像素坐标点，计算得到该ARtag码世界坐标中心点的世界坐标，具体表现为：
S631，推导相机、世界坐标系映射公式，相机标定的映射公式如下：



式中，P为ARtag码世界坐标中心点，n为摄像头的相机数量Zc1、Zc2、…Zcn分别为P对于相机1、2、...n在投影点的深度信息，M1、R1、T1，M2、R2、T2，...Mn、Rn、Tn分别为相机1、2、...n的相机参数；
S632，移项、代换得到向量H，H表示为：



式中，I为3*3的单位矩阵，K1、K2、Kn均为中间变量，其中，



式中，R1-1、R2-1、Rn-1分别为相机外参旋转矩阵R1、R2、Rn的逆矩阵，M1-1、M2-1和Mn-1分别为相机内参矩阵M1、M2和Mn的逆矩阵；
S633，对向量H进行SVD分解，H表示为：
H＝UΣV*(11)
式中，U、V表示酉矩阵，Σ为半正定对角矩阵；
S634，通过如下公式计算得到ARtag码世界坐标中心点的世界坐标



式中，H+为H的伪逆矩阵，Q为中间变量，其表达式如下：



其中，B1、B2和Bn均为中间变量：



式中，0为三维零向量。


5.根据权利要求4所述的多机器人协作分拣运输方法，其特征在于，所述步骤S63中通过运动补偿算法去除网络监控摄像头的延时影响，具体表现为：
(a)在完成ARtag码识别与多相机融合定位得到机器人在ts秒之前的位置ARtag码世界坐标中心点P的前提下，通过机器人上的陀螺仪传感器实时采集机器人ts秒内的线速度v(t)与角速度...

【专利技术属性】
技术研发人员：毛建旭，彭永志，王耀南，刘彩苹，朱青，邹智强，张猛，杨琴，代扬，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43