矿石加工环节的激光雷达和相机空间位置自动标定方法技术

本发明专利技术提出了一种矿石加工环节的激光雷达和相机空间位置自动标定方法，该方法包括：对相机传感器采集的包括矿石和皮带机的图像进行图像增强处理；利用图像的梯度幅值变化提取图像线特征数据；对激光雷达采集的点云数据利用点云数据的距离不连续性提取边界直线特征，经过滤得到更精确点云直线特征，并转换为深度图；对点云数据进行特征补全并分配特征权重；对深度图进行加权求和后投影到相机传感器的图像坐标系上，对当前帧的全部数据点灰度值及全部深度图数据点的最大灰度值分别求和，由两者比值得到投影得分；与设定阈值比较，分别使用不同的步长对深度图的灰度值进行迭代优化，直至达到精度要求，进行置信度评估得到标定结果。定结果。定结果。

【技术实现步骤摘要】
矿石加工环节的激光雷达和相机空间位置自动标定方法


[0001]本专利技术涉及多传感器融合领域及煤矸识别领域，尤其涉及矿石加工环节的激光雷达和相机空间位置自动标定方法。

技术介绍

[0002]多传感器数据融合是煤矸识别领域的研究重点和难点之一。
[0003]煤矸随主运输胶带升井后，作业人员需人工在地面分拣出大于200mm的大块矸石。这种方式分拣效率低，现场拣矸环境恶劣，粉尘大，作业人员劳动强度大，且矿石的体积和重量难以有效统计。目前国内外的主流方案是使用激光雷达和相机分别去采集皮带机上的数据，用图像数据识别区分矿石和石头，用激光雷达采集的点云数据完成针对矿石的外轮廓坐标点采集，并进一步进行矿石的体积和重量估算。
[0004]两传感器数据是否可以有效融合直接决定了最后矿石体积和重量估计的准确性。激光雷达与相机的数据格式、存储内容各不相同。

技术实现思路

[0005]本专利技术的目的在于提供矿石加工环节的激光雷达和相机空间位置自动标定方法，可以实时判断当前激光雷达和相机的空间位置是否准确，并且在准确度低的情况下在线纠正激光雷达和相机的空间位置误差，以实现激光雷达和相机传感器数据的有效融合。
[0006]为了实现上述目的，本专利技术提出了一种矿石加工环节的激光雷达和相机空间位置自动标定方法，所述方法包括：
[0007]步骤1)对相机传感器采集的包括矿石和皮带机的图像进行包括去尘和轮廓细节保留的图像增强处理；
[0008]步骤2)对图像增强处理后的图像数据利用图像的梯度幅值变化提取图像线特征数据；
[0009]步骤3)对激光雷达采集的点云数据利用点云数据的距离不连续性提取边界直线特征，经过滤得到更精确的点云直线特征，并转换为深度图；
[0010]步骤4)对点云数据进行特征补全并分配特征权重；
[0011]步骤5)根据特征权重对深度图进行加权求和后投影到相机传感器的图像坐标系上，对当前帧的全部数据点灰度值累计求和，对全部深度图数据点的最大灰度值累计求和，并计算两者的比值得到投影得分；
[0012]步骤6)根据投影得分与设定阈值的比较，分别使用不同的步长对深度图的灰度值进行迭代优化，直至达到精度要求，进行置信度评估得到标定结果。
[0013]作为上述方法的一种改进，所述步骤1)包括：
[0014]步骤1
‑
1)使用改进的Retinex算法，从相机传感器采集的图像I(x,y)中去除照射图L(x,y)，获得去尘后的图像R
L
(x,y)：
[0015]lgR
L
(x,y)＝lgI(x,y)
‑
lgL(x,y)
[0016]步骤1
‑
2)利用以下公式将两种不同的高斯核分别与去尘后的图像R
L
进行卷积，得到两种不同尺度的模糊图像和
[0017][0018]其中，g1和g2分别表示标准差为1和4的高斯核，以对图像中不同细节的图像予以保留；
[0019]再通过减法运算提取精细细节和大体外观；
[0020]对卷积后的模糊图像和进行叠加，提高矿石边缘细节的区分度。
[0021]作为上述方法的一种改进，所述步骤2)包括：
[0022]将图像增强处理后的图像数据转换为灰度图，并进行高斯滤波；对高斯滤波后的灰度图进行梯度幅值的提取，得到梯度幅值图像；
[0023]以进行分水岭变换的方法提取矿石和皮带机的轮廓边缘信息；
[0024]对梯度幅值图进行非极大值抑制，以增强矿石细节的边缘信息；
[0025]利用灰度的值的变化梯度提取轮廓的初步直线特征，运用双阈值算法检测和连接边缘，得到直线特征；
[0026]对直线特征进行过滤，去除过短的直线特征，得到图像线特征数据Tt。
[0027]作为上述方法的一种改进，所述步骤3)包括：
[0028]运用正态分布变化方法计算当前帧与前一帧间的变换矩阵，利用点坐标的距离不连续性计算点云中物体的边缘特征，再利用边缘特征的连续性及梯度变化过滤掉弧度大于阈值的边缘，得到剩余边缘即为直线特征；
[0029]通过比较当前点与相邻点的距离，去除孤立点，得到更精确的直线特征；
[0030]将提取过滤后的点云图像转化为深度图。
[0031]作为上述方法的一种改进，所述步骤4)包括：
[0032]利用正态分布变化方法，使用局部映射的方式，将前一帧深度图像通过求得的变换矩阵变换到当前帧实现特征补全；
[0033]基于Hough变换，构建特征金字塔，提取出水平方向直线F
h
与竖直方向的直线F
v
，并赋值为α和1
‑
α，对水平线特征赋予较高权重，对竖直线特征赋予较低权重。
[0034]作为上述方法的一种改进，所述步骤5)包括：
[0035]根据特征权重，对提取过滤后的深度图数据进行加权赋值后，投影到相机传感器的像素坐标系上，并结合步骤2)得到的图像线特征数据T
t
，计算投影后的符合直线特征的一个数据点的灰度值，t时刻当前帧的全部数据点灰度值累计求和记为A
t
；t时刻当前帧的全部数据点的最大灰度值累计求和记为B
t
；分别满足下式：
[0036][0037][0038]其中，t表示t时刻，n表示所有点云直线特征的总点数，；p
t
表示点云直线特征
[0039]计算两者的比值得到t时刻投影得分S
t
＝A
t
/B
t
。
[0040]作为上述方法的一种改进，所述步骤6)包括：
[0041]步骤6
‑
1)判断投影得分A
t
/B
t
是否大于第一阈值，判断为是，则当前激光雷达和相机传感器的空间位置准确，转至步骤6
‑
3)；否则，当前激光雷达和相机传感器的空间位置不准确，转至步骤6
‑
2)；
[0042]步骤6
‑
2)判断投影得分A
t
/B
t
是否大于第二阈值，判断为是，使用小步长和大灰度值变化的图像进行灰度变换，否则，使用大步长和小灰度值变化的图像进行灰度变换；继续优化，直至投影得分A
t
/B
t
大于第一阈值，转至步骤6
‑
3)；
[0043]步骤6
‑
3)从时域关系和空间位置联合进行置信度评估，得到精确标定结果。
[0044]作为上述方法的一种改进，所述步骤6
‑
3)包括：
[0045]根据下式得到num帧累计的激光雷达和相机传感器数据重合度均值Saverage：
[0046][0047]其中，S
i
为在第i时刻的投影得分；
[0048]当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种矿石加工环节的激光雷达和相机空间位置自动标定方法，所述方法包括：步骤1)对相机传感器采集的包括矿石和皮带机的图像进行包括去尘和轮廓细节保留的图像增强处理；步骤2)对图像增强处理后的图像数据利用图像的梯度幅值变化提取图像线特征数据；步骤3)对激光雷达采集的点云数据利用点云数据的距离不连续性提取边界直线特征，经过滤得到更精确的点云直线特征，并转换为深度图；步骤4)对点云数据进行特征补全并分配特征权重；步骤5)根据特征权重对深度图进行加权求和后投影到相机传感器的图像坐标系上，对当前帧的全部数据点灰度值累计求和，对全部深度图数据点的最大灰度值累计求和，并计算两者的比值得到投影得分；步骤6)根据投影得分与设定阈值的比较，分别使用不同的步长对深度图的灰度值进行迭代优化，直至达到精度要求，进行置信度评估得到标定结果。2.根据权利要求1所述的矿石加工环节的激光雷达和相机空间位置自动标定方法，其特征在于，所述步骤1)包括：步骤1
‑
1)使用改进的Retinex算法，从相机传感器采集的图像I(x,y)中去除照射图L(x,y)，获得去尘后的图像R
L
(x,y)：lgR
L
(x,y)＝lgI(x,y)
‑
lgL(x,y)步骤1
‑
2)利用以下公式将两种不同的高斯核分别与去尘后的图像R
L
进行卷积，得到两种不同尺度的模糊图像和和其中，g1和g2分别表示标准差为1和4的高斯核，以对图像中不同细节的图像予以保留；再通过减法运算提取精细细节和大体外观；对卷积后的模糊图像和进行叠加，提高矿石边缘细节的区分度。3.根据权利要求2所述的矿石加工环节的激光雷达和相机空间位置自动标定方法，其特征在于，所述步骤2)包括：将图像增强处理后的图像数据转换为灰度图，并进行高斯滤波；对高斯滤波后的灰度图进行梯度幅值的提取，得到梯度幅值图像；以进行分水岭变换的方法提取矿石和皮带机的轮廓边缘信息；对梯度幅值图进行非极大值抑制，以增强矿石细节的边缘信息；利用灰度的值的变化梯度提取轮廓的初步直线特征，运用双阈值算法检测和连接边缘，得到直线特征；对直线特征进行过滤，去除过短的直线特征，得到图像线特征数据T
t
。4.根据权利要求3所述的矿石加工环节的激光雷达和相机空间位置自动标定方法，其特征在于，所述步骤3)包括：运用正态分布变化方法计算当前帧与前一帧间的变换矩阵，利用点坐标的距离不连续性计算点云中物体的边缘特征，再利用边缘特征的连续性及梯度变化过滤掉弧度大于阈值的边缘，得到剩余边缘即为直线特征；通过比较当前点与相邻点的距离，去除孤立点，得到更精确的直线特征；
将提取过滤后的点云图像转化为深度图。5.根据权利要求4所述的矿石加工环节的激光雷达和相机空间位置自动标定方法，其特征在于，所述步骤4)包括：利用正态分布变化方法，使用局部映射的方式，将前一帧深度图像通过求得的变换矩阵变换到当前帧实现特征补全；基于Hough变换，构建特征金字塔，提取出水平方向直线F
h
与竖直方向的直线F
v
，并赋值为α和1
‑
α，对水平线特征赋予较高权重，对竖直线特征赋予较低权重。6.根据权利要求5所述的矿石加工环节的激光雷达和相机空间位置自动标定方法，其特征在于，所述步骤5)包括：根据特征权重，对提取过...

【专利技术属性】
技术研发人员：张国英，熊一瑾，高鑫，王煦恒，
申请(专利权)人：中国矿业大学北京，
类型：发明
国别省市：