一种多机器人协同三维测量作业方法技术

本发明专利技术公开了一种多机器人协同三维测量作业方法，首先在计算机上搭建虚拟仿真环境，在虚拟仿真环境上完成双机器人的测量位姿以及测量路径的设置并对测量路径进行路径评价，然后在现实测量环境中完成手眼标定，并将通过路径评价的测量路径发送给对应的实体机器人1、2，获取多视角的点云图像，通过坐标系转换得到相应的被测物点云，最后将实体机器人2的点云转换到实体机器人1基座坐标系下，得到被测物通过双机器人获取的点云I

【技术实现步骤摘要】
一种多机器人协同三维测量作业方法
[0001]技术邻域
[0002]本专利技术属于三维形貌测量
，更具体的讲，涉及一种多机器人协同三维测量作业方法。

技术介绍

[0003]近年来随着机器视觉的快速发展，结构光测量技术由于生成的点云质量高精度好等优点，被广泛的应用到撞击检测、文物重建、医疗扫描等一些高精度测量领域。由于结构光测量设备受限于相机的成像范围和拍摄视角，在进行实际的三维形貌测量任务时，不可能一次性的将被测物的三维形貌信息获取完整。一般的解决方法是需要将结构光测量设备移动至各个视角所对应的空间位姿，从多个视角获取被测物的点云信息，然后将多视角点云信息进行拼接，从而使得被测对象的点云信息完整。但是由于高精度结构光设备的质量较大，传统的人为挪动方式不能准确把握各个采集视角的位姿状态。在一些负载性大重复性高的环境中机器人能够很好的代替传统人力工作，并且可以对机器人进行预先的路径规划来完成测量任务。
[0004]在工厂中，传统机器人的测量路径生成通常采用人工示教的方式，由操作人员机器人逐个选择机器人测量任务的路径点，这对操作人员的技术水平，以及现场工作环境的熟悉程度要求较高。由于单视角点云精度很大程度的受结构光设备的测距影响，在面对类似结构光测量仪这种对拍摄距离有要求的测量设备时，操作人员还需要手动测量设备与被测物之间的距离，并判断是否满足拍摄距离要求。然而在一些难以获得测量设备与被测物距离的测量场合，如高温环境中，如何确保每个测量位姿下测量设备与被测物之间的距离符合要求，成为了一个难题。因此有必要采取一种切实有效的测量方法，降低测量任务中机器人的操作难度并能够精确的获取测量设备与被测物之间的距离，从而获得更高质量的单视角点云

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种多机器人协同三维测量作业方法，以提高结构光测量仪的工作效率，缩短了任务周期，并为后续精拼接过程提供良好的初值，减轻后续配准任务的负担。
[0006]为实现上述专利技术目的，本专利技术多机器人协同三维测量作业方法，其特征在于，包括：
[0007](1)、虚拟仿真环境搭建
[0008]1.1)、根据现实测量环境，在装有开源机器人系统的计算机上搭建虚拟仿真环境，并将双机器人的描述文件导入到虚拟仿真环境中，生成相应的机器人1、机器人2，同时，在虚拟仿真环境中，将结构光测量仪1以及深度相机1安装在机器人1末端法兰盘的固定夹具上，将结构光测量仪2以及深度相机2安装在机器人2末端法兰盘的固定夹具上；
[0009]1.2)、对被测物进行仿真，并放置于机器人1、2之间，结构光测量仪1、与结构光测
量仪2均正对被测物，确定结构光测量仪1、2对被测物进行拍摄的多个测量面以及每个测量面存在的多条测量路径，对于结构光测量仪1：第k个测量面的第i条测量路径记为其中，K
R1
为测量面的个数，M
R1_k
为第k个测量面上测量路径的条数，同时每一条测量路径上还包含多个测量点，被测物第k个测量面上的第i条路径中的第j个测量点即测量位姿记为为第k个测量面测量路径上测量位姿的数量，R1代表机器人1，对于结构光测量仪2：第k个测量面的第i条测量路径记为其中，K
R2
为测量面的个数，M
R2_k
为第k个测量面上测量路径的条数，被测物第k个测量面上的第i条路径中的第j个测量点即测量位姿记为为第k个测量面测量路径上测量位姿的数量，R2代表机器人2；
[0010]结构光测量仪1、2的视野范围均为长m厘米，宽n厘米大小的矩形，对于结构光测量仪1，被测物第k个测量面的外接矩形长为宽为测量路径为沿长度方向，一条条的纵向路径，则需要满足约束：同一测量面上的测量路径条数同一测量路径上的测量点数根据这一约束，得到第k个测量面的第i条测量路径的第j个测量位姿对于结构光测量仪2，被测物第k个测量面的外接矩形长为宽为测量路径为沿长度方向，一条条的纵向路径，则需要满足约束：同一测量面上的测量路径条数同一测量路径上的测量点数根据这一约束，得到第k个测量面的第i条测量路径的第j个测量位姿
[0011](2)、测量路径规划
[0012]2.1)、对于机器人1的第k个测量面的第i条测量路径首先在虚拟仿真环境中，拖拽机器人末端到测量位姿其中，测量位姿为为机器人1末端的位置坐标，为机器人1末端的姿态坐标；
[0013]2.2)、在机器人1的测量位姿处，通过使用深度相机采集被测物图像，得到RGB
‑
D图像并转换为灰度图像后，进行阈值分割过滤背景，再提取被测物轮廓信息，得到被测物轮廓所在的最小外接矩形之后在RGB
‑
D图像相对应的最小外接矩形范围中遍历所有像素点的深度信息d，找到被测物与结构光测量仪之间的最短距离d
min
，同时记录下最短距离的像素点坐标a(u,v)，然后判断最短距离d
min
是否满足结构光测量仪的测量范围：d
min
∈[D
‑
δ,D+δ]，其中，D为结构光测量仪进行相机标定时的焦距，δ为结构光测量仪测量允许的误差范围；若不满足，则进入步骤2.3)，对测量位姿进行调整，若满足，则进入步骤2.4)；
[0014]2.3)、将像素点坐标a(u,v)经过坐标系转换获得与其相对应的空间坐标(x
(u,v)
,y
(u,v)
,z
(u,v)
)，然后结合机器人1末端的位置坐标确定一条空间直线：
[0015][0016]其中，x,y,z为空间直线上的坐标；
[0017]然后，从位置坐标起，沿着该空间直线，计算得到一个位置坐标满足测量条件：
[0018][0019]得到满足测量条件的位置坐标之后，结合原有的位姿坐标组成一个测量位姿作为测量位姿根据测量位姿由机器人运动学逆解出机器人对应关节状态，实现位姿调整；
[0020]2.4)、将调整后的测量位姿记录下来，返回步骤2.1)，进行下一个测量位姿设置，直到测量路径
k
S
i
所有测量位姿
k
P
ij
的最短距离d
min
判断完毕，然后，进入步骤(3)，其中，在进行下一个测量位姿设置前，如果：
[0021]A、测量位姿设置在机器人自由度退化，逆运动学无解的空间位姿，即奇异点附近时，为了保证机器人运动的流畅性需要设置一个过渡点来避开机器人的奇异点；
[0022]B、当被测物的形貌不规则，被测物表面有凸起时，为了获得更好的测量效果以及避免在机器人承载结构光测量仪运动的过程中与不规则被测物相碰撞，在测量位姿设置时需要考虑机器人实际的测量位姿以及被测物的形貌特征，在测量位姿和测量位姿之间设置一个过渡点
[0023]过渡点处不需要进行距离检测以及调整，过渡点为人为地对机器人的测量路径进行调整；
[0024]2.5)、对测量路径进行路径评价
...

【技术保护点】

【技术特征摘要】
1.一种多机器人协同三维测量作业方法，其特征在于，包括：(1)、虚拟仿真环境搭建1.1)、根据现实测量环境，在装有开源机器人系统的计算机上搭建虚拟仿真环境，并将双机器人的描述文件导入到虚拟仿真环境中，生成相应的机器人1、机器人2，同时，在虚拟仿真环境中，将结构光测量仪1以及深度相机1安装在机器人1末端法兰盘的固定夹具上，将结构光测量仪2以及深度相机2安装在机器人2末端法兰盘的固定夹具上；1.2)、对被测物进行仿真，并放置于机器人1、2之间，结构光测量仪1、与结构光测量仪2均正对被测物，确定结构光测量仪1、2对被测物进行拍摄的多个测量面以及每个测量面存在的多条测量路径，对于结构光测量仪1：第k个测量面的第i条测量路径记为其中，K
R1
为测量面的个数，M
R1
_
k
为第k个测量面上测量路径的条数，同时每一条测量路径上还包含多个测量点，被测物第k个测量面上的第i条路径中的第j个测量点即测量位姿记为为第k个测量面测量路径上测量位姿的数量，R1代表机器人1，对于结构光测量仪2：第k个测量面的第i条测量路径记为其中，K
R2
为测量面的个数，M
R2
_
k
为第k个测量面上测量路径的条数，被测物第k个测量面上的第i条路径中的第j个测量点即测量位姿记为为第k个测量面测量路径上测量位姿的数量，R2代表机器人2；结构光测量仪1、2的视野范围均为长m厘米，宽n厘米大小的矩形，对于结构光测量仪1，被测物第k个测量面的外接矩形长为宽为测量路径为沿长度方向，一条条的纵向路径，则需要满足约束：同一测量面上的测量路径条数同一测量路径上的测量点数根据这一约束，得到第k个测量面的第i条测量路径的第j个测量位姿对于结构光测量仪2，被测物第k个测量面的外接矩形长为宽为测量路径为沿长度方向，一条条的纵向路径，则需要满足约束：同一测量面上的测量路径条数同一测量路径上的测量点数根据这一约束，得到第k个测量面的第i条测量路径的第j个测量位姿(2)、测量路径规划2.1)、对于机器人1的第k个测量面的第i条测量路径首先在虚拟仿真环境中，拖拽机器人末端到测量位姿其中，测量位姿为为机器人1末端的位置坐标，为机器人1末端的姿态坐标；2.2)、在机器人1的测量位姿处，通过使用深度相机采集被测物图像，得到RGB
‑
D图像并转换为灰度图像后，进行阈值分割过滤背景，再提取被测物轮廓信息，得到被测物轮廓所在的最小外接矩形之后在RGB
‑
D图像相对应的最小外接矩形范围中遍历所有像素点的深度信息d，找到被测物与结构光测量仪之间的最短距离d
min
，同时记录下最短距离的
像素点坐标a(u,v)，然后判断最短距离d
min
是否满足结构光测量仪的测量范围：d
min
∈[D
‑
δ,D+δ]，其中，D为结构光测量仪进行相机标定时的焦距，δ为结构光测量仪测量允许的误差范围；若不满足，则进入步骤2.3)，对测量位姿进行调整，若满足，则进入步骤2.4)；2.3)、将像素点坐标a(u,v)经过坐标系转换获得与其相对应的空间坐标(x
(u,v)
,y
(u,v)
,z
(u,v)
)，然后结合机器人1末端的位置坐标确定一条空间直线：其中，x,y,z为空间直线上的坐标；然后，从位置坐标起，沿着该空间直线，计算得到一个位置坐标满足测量条件：得到满足测量条件的位置坐标之后，结合原有的位姿坐标组成一个测量位姿作为测量位姿根据测量位姿由机器人运动学逆解出机器人对应关节状态，实现位姿调整；2.4)、将调整后的测量位姿记录下来，返回步骤2.1)，进行下一个测量位姿设置，直到测量路径
k
S
i
所有测量位姿
k
P
ij
的最短距离d
min
判断完毕，然后，进入步骤(3)，其中，在进行下一个测量位姿设置前，如果：A、测量位姿设置在机器人自由度退化，逆运动学无解的空间位姿，即奇异点附近时，为了保证机器人运动的流畅性需要设置一个过渡点来避开机器人的奇异点；B、当被测物的形貌不规则，被测物表面有凸起时，为了获得更好的测量效果以及避免在机器人承载结构光测量仪运动的过程中与不规则被测物相碰撞，在测量位姿设置时需要考虑机器人实际的测量位姿以及被测物的形貌特征，在测量位姿和测量位姿之间设置一个过渡点过渡点处不需要进行距离检测以及调整，过渡点为人为地对机器人的测量路径进行调整；2.5)、对测量路径进行路径评价所有测量位姿以及所有过度点构成一条完整的测量路径对测量路径进行路径评价，步骤如下：
步骤2.5.1)...

【专利技术属性】
技术研发人员：殷春，闫中宝，高延，张阔，陈凯，刘俊洋，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：