一种井下的在线联合标定方法技术

本发明专利技术涉及一种井下的在线联合标定方法，属于井下探测技术领域。包括获取工业相机采集的锚网图像数据和激光雷达采集的锚网点云数据；使用图像处理方法从锚网图像数据中提取锚网的第一边缘轮廓；使用点云处理方法从锚网点云数据中提取锚网的第二边缘轮廓；基于天牛须的粒子群搜索方式对第一边缘轮廓和第二边缘轮廓进行粗匹配；对第一边缘轮廓和第二边缘轮廓进行精匹配，具体为：将测量误差考虑在内，构建线到线的ICP问题，并进行非线性最小二乘优化，求解最优的外参，得到标定结果。在匹配过程中，容易陷入局部最优解，采用天牛须的粒子群搜索方法可以防止局部最优解，既能减少搜索次数，又保证不会陷入局部最优。又保证不会陷入局部最优。又保证不会陷入局部最优。

【技术实现步骤摘要】
一种井下的在线联合标定方法


[0001]本专利技术涉及井下探测
，尤其涉及一种井下的在线联合标定方法，尤其涉及一种用于井下激光雷达和工业相机的在线联合标定方法。

技术介绍

[0002]随着激光雷达和工业相机在无人系统中的应用越来越广泛，通过使用多传感器融合的方法来提高无人系统的感知水平得到越来越多的关注。将激光雷达与工业相机的融合应用在井下锚杆支护领域具有重要的意义。因为激光雷达可以快速准确地测量出物体表面的形状和尺寸，而工业相机可以捕捉大范围的表面细节，并可以提供更高精度的测量结果。结合两者，可以更准确地重建三维模型，进而更好地了解井下结构，更准确地评估井下结构的力学性能，并有效地预测稳定性。通过标定可以帮助我们更好地实现激光雷达和工业相机的融合，从而实现锚孔检测，读取标志或识别工人和障碍物等任务。考虑到当激光雷达与工业相机之间发生抖动或者位置偏移的时候，初始的标定外参将不再适用，因而需要对其在线校正，即对激光雷达和工业相机进行在线联合标定。
[0003]现有的标定方法一般是通过设计特定的标定参考物例如棋盘标定板、立体形状的参照物等等辅助算法寻找相应的特征，这种方法往往需要随身携带并且一般需要人为参与。然而，每次任务开始前对随身携带的参照物进行标定是不现实的。为了减少对场景中特征的依赖，目前的自动标定方法仍面临两个问题：一是对于特定标定物的算法虽然不需要人为参与，但是对参考物的要求较高且需要提前摆放好；二是不依托参考物的方法需要初始参数，没有利用特征匹配而是利用自身运动估计来计算外参，而基于运动估计的方法要求精准且充分的自身运动状态估计，同时要求场景中存在三维几何特征和可跟踪视觉特征，缺乏这些特征会导致激光雷达测距估计中的定位滑动，从而影响校准结果的准确性。此外，也有将深度学习应用到工业相机和激光雷达的外参估计的方法，然而这种方法需要提前将深度真值传入作为监督数据，但是在实际场景中往往难以获得精确的深度真值，并且深度学习的方法可解释性差，泛化能力差。
[0004]综上，虽然上述方法能够完成在线标定，但是对环境的鲁棒性不够好，精确度不高，提取点云深度边缘等信息的方法也仅限于远距离、参考物丰富的情况下适用，但由于井下光照条件差、参照物少，使得上述方法不能应用到井下的在线标定任务中。
[0005]由于井下可见度低，一般相机采集的图像清晰度明显下降，无法识别井下的纹理信息，本专利技术能够利用井下的物体(例如锚网)进行在线标定，而不需要借助人为干预或者具有特殊特征的标定板。

技术实现思路

[0006]为解决上述技术问题，本专利技术提供一种用于井下激光雷达和工业相机的在线联合标定方法。本专利技术的技术方案如下：
[0007]第一方面，本专利技术提供一种井下的在线联合标定方法，其包括：
[0008]S1，移动激光雷达和工业相机使锚网置于激光雷达和工业相机法的视野中，获取所述工业相机采集的锚网图像数据和所述激光雷达采集的锚网点云数据；
[0009]S2，使用图像处理方法从所述锚网图像数据中提取所述锚网的第一边缘轮廓；
[0010]S3，使用点云处理方法从所述锚网点云数据中提取所述锚网的第二边缘轮廓；
[0011]S4，基于天牛须的粒子群搜索方式对所述第一边缘轮廓和所述第二边缘轮廓进行粗匹配；
[0012]S5，对所述第一边缘轮廓和所述第二边缘轮廓进行精匹配，具体为：将测量误差考虑在内，构建线到线的ICP问题，并进行非线性最小二乘优化，求解最优的外参，得到标定结果。
[0013]进一步的，所述使用图像处理方法从所述锚网图像数据中提取所述锚网的第一边缘轮廓之前，还包括：
[0014]使用张正友标定方法对所述工业相机进行内参的标定。
[0015]进一步的，所述S2在根据所述锚网的特点使用图像处理方法从所述锚网图像数据中提取所述锚网的第一边缘轮廓时，包括：
[0016]S21，根据所述锚网的特点使用Canny算法提取所述锚网的初始边缘轮廓；
[0017]S22，使用霍夫变换算法对所述初始边缘轮廓进行拟合，得到锚网的轮廓线；
[0018]S23，从所述锚网的轮廓线中剔除长度小于预设阈值的轮廓线，并将剩余的轮廓线作为所述锚网的第一边缘轮廓，其像素坐标放入kd树tr1中，记图像边缘即剩余的锚网轮廓线为
[0019]进一步的，所述S3在使用点云处理方法从所述锚网点云数据中提取所述锚网的第二边缘轮廓时，包括：
[0020]S31，设置体素栅格边长，根据所述体素栅格边长将所述锚网点云数据沿X、Y、Z三个坐标轴均等化分为M、N、L份，以将所述锚网点云数据划分为M*N*L个体素栅格后，对每个体素栅格内的锚网点云数据进行平面拟合得到多个拟合平面，计算每个拟合平面的法向量，并剔除同一拟合平面内的交线后，在剩余的交线上进行稠密插值，得到深度连续边缘点云；
[0021]S32，将每个拟合平面内锚网点云数据的反射强度沿着其法向量方向投影，得到每个拟合平面对应的2D强度图像后，使用Canny算法提取出2D强度图像中的反射强度突变边缘点云，再利用逆投影得到3D强度图像中的反射强度突变边缘点云；
[0022]S33，将所述深度连续边缘点云和所述反射强度突变边缘点云确定为所述锚网的第二边缘轮廓。
[0023]进一步的，所述S4在基于天牛须的粒子群搜索方式对所述第一边缘轮廓和所述第二边缘轮廓进行粗匹配时，包括：
[0024]S41，预先设定种群大小为P(即有p个天牛)，最大迭代次数为N
max
，学习因子为c1、c2，惯性权重为w，最大速度和最小速度分别为V
max
、V
min
后，根据工业相机和激光雷达的位置关系预设搜索范围，在预设搜索范围内随机初始化种群中每一个天牛的更新速度v，并在预设搜索范围内随机生成种群，将随机生成的种群使用Tent混沌序列进行初始化，使R和t中的参数遍布在预设搜索范围内；
[0025]其中，Tent混沌序列的表达式记为表达式一，所述表达式一具体如下：
[0026][0027]其中，Rand表示一个随机数，用混沌初始化生成的R和t是x
i
＝(T1,T2,T3,T4,T5,T6,T7)，即生成一个粒子；
[0028]S42，将第二边缘轮廓的三维坐标投影到像素坐标系上后，从投影后的像素坐标中剔除掉超出工业相机图像尺寸范围的投影点，将剩余的投影点用另一颗KD树tr2存储；将tr2中的投影点作为查询点，在图像边缘轮廓KD树tr1进行最近邻查询，筛选出最近邻点与剩余的投影点距离在阈值内的投影点后建立最近邻匹配关系，遍历tr2中的所有点，将满足要求的点均建立最近邻匹配关系；其中，设置表达式二，根据表达式二计算点云边缘的三维坐标投影到像素坐标系上的像素坐标，所述表达式二具体如下：
[0029][0030]其中，u表示像素坐标系下的x轴坐标，v表示像素坐标系下的y轴坐标，z
c
表示像素坐标系下点的实际深度信息，f本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种井下的在线联合标定方法，其特征在于，包括：S1，移动激光雷达和工业相机使锚网置于激光雷达和工业相机法的视野中，获取所述工业相机采集的锚网图像数据和所述激光雷达采集的锚网点云数据；S2，使用图像处理方法从所述锚网图像数据中提取所述锚网的第一边缘轮廓；S3，使用点云处理方法从所述锚网点云数据中提取所述锚网的第二边缘轮廓；S4，基于天牛须的粒子群搜索方式对所述第一边缘轮廓和所述第二边缘轮廓进行粗匹配；S5，对所述第一边缘轮廓和所述第二边缘轮廓进行精匹配，具体为：将测量误差考虑在内，构建线到线的ICP问题，并进行非线性最小二乘优化，求解最优的外参，得到标定结果。2.根据权利要求1所述的一种井下的在线联合标定方法，其特征在于，所述使用图像处理方法从所述锚网图像数据中提取所述锚网的第一边缘轮廓之前，还包括：使用张正友标定方法对所述工业相机进行内参的标定。3.根据权利要求1或2所述的一种井下的在线联合标定方法，其特征在于，所述S2在根据所述锚网的特点使用图像处理方法从所述锚网图像数据中提取所述锚网的第一边缘轮廓时，包括：S21，根据所述锚网的特点使用Canny算法提取所述锚网的初始边缘轮廓；S22，使用霍夫变换算法对所述初始边缘轮廓进行拟合，得到锚网的轮廓线；S23，从所述锚网的轮廓线中剔除长度小于预设阈值的轮廓线，并将剩余的轮廓线作为所述锚网的第一边缘轮廓，其像素坐标放入kd树tr1中，记图像边缘即剩余的锚网轮廓线为4.根据权利要求3所述的一种井下的在线联合标定方法，其特征在于，所述S3在使用点云处理方法从所述锚网点云数据中提取所述锚网的第二边缘轮廓时，包括：S31，设置体素栅格边长，根据所述体素栅格边长将所述锚网点云数据沿X、Y、Z三个坐标轴均等化分为M、N、L份，以将所述锚网点云数据划分为M*N*L个体素栅格后，对每个体素栅格内的锚网点云数据进行平面拟合得到多个拟合平面，计算每个拟合平面的法向量，并剔除同一拟合平面内的交线后，在剩余的交线上进行稠密插值，得到深度连续边缘点云；S32，将每个拟合平面内锚网点云数据的反射强度沿着其法向量方向投影，得到每个拟合平面对应的2D强度图像后，使用Canny算法提取出2D强度图像中的反射强度突变边缘点云，再利用逆投影得到3D强度图像中的反射强度突变边缘点云；S33，将所述深度连续边缘点云和所述反射强度突变边缘点云确定为所述锚网的第二边缘轮廓。5.根据权利要求4所述的一种井下的在线联合标定方法，其特征在于，所述S4在基于天牛须的粒子群搜索方式对所述第一边缘轮廓和所述第二边缘轮廓进行粗匹配时，包括：S41，预先设定种群大小为P(即有p个天牛)，最大迭代次数为N
max
，学习因子为c1、c2，惯性权重为w，最大速度和最小速度分别为V
max
、V
min
后，根据工业相机和激光雷达的位置关系预设搜索范围，在预设搜索范围内随机初始化种群中每一个天牛的更新速度v，并在预设搜索范围内随机生成种群，将随机生成的种群使用Tent混沌序列进行初始化，使R和t中的参数遍布在预设搜索范围内；
其中，Tent混沌序列的表达式记为表达式一，所述表达式一具体如下：其中，Rand表示一个随机数，用混沌初始化生成的R和t是x
i
＝(T1,T2,T3,T4,T5,T6,T7)，即生成一个粒子；S42，将第二边缘轮廓的三维坐标投影到像素坐标系上后，从投影后的像素坐标中剔除掉超出工业相机图像尺寸范围的投影点，将剩余的投影点用另一颗KD树tr2存储；将tr2中的投影点作为查询点，在图像边缘轮廓KD树tr1进行最近邻查询，筛选出最近邻点与剩余的投影点距离在阈值内的投影点后建立最近邻匹配关系，遍历tr2中的所有点，将满足要求的点均建立最近邻匹配关系；其中，设置表达式二，根据表达式二计算点云边缘的三维坐标投影到像素坐标系上的像素坐标，所述表达式二具体如下：其中，u表示像素坐标系下的x轴坐标，v表示像素坐标系下的y轴坐标，z
c
表示像素坐标系下点的实际深度信息，f
x
表示横向焦距分量参数，f
y
表示纵向焦距分量参数，(u0,v0)表示主点的实际位置，R表示激光雷达到相机之间的旋转矩阵，t表示激光雷达到相机之间的平移矩阵，(X
L
,Y
L
,Z
L
)表示激光雷达的三维坐标，...

【专利技术属性】
技术研发人员：王宏伟，闫志蕊，李进，李永安，陶磊，耿毅德，王洪利，王浩然，曹文艳，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：