一种单线激光雷达与可见光相机的外参标定方法及系统技术方案

本发明专利技术公开了一种单线激光雷达与可见光相机的外参标定方法及系统，通过采集时间和空间同步的炉料图像数据与点云数据，根据相机畸变模型对炉料图像进行校正，进一步提取激光扫描中心线，并确定激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标，同时对稀疏的点云数据进行插值，从而获得点云数据局部极值在雷达坐标系下的三维坐标，以及根据激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标以及点云数据局部极值在雷达坐标系下的三维坐标的特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵，解决了现有激光雷达与相机外参标定精度低的技术问题，可实时在线地对单线激光雷达与可见光相机进行标定，修正外参矩阵。修正外参矩阵。修正外参矩阵。

【技术实现步骤摘要】
一种单线激光雷达与可见光相机的外参标定方法及系统


[0001]本专利技术主要涉及高炉炉料粒径检测领域，特指一种单线激光雷达与可见光相机的外参标定方法及系统。

技术介绍

[0002]高炉炉料的粒径大小是影响高炉内部料层透气性、煤气流分布的关键因素。炉料粒径的在线检测对于改善煤气流分布、降低焦比、提高高炉生产效率具有重要意义。在高炉上料系统，利用单线激光雷达和可见光相机实现高炉炉料粒径检测。通过传感器数据融合，可发挥激光雷达不受光照影响与可见光相机分辨率高的特点，提高粒径检测的准确度。
[0003]传感器联合标定是数据融合的前提。激光雷达与相机参数标定的过程是一个坐标系转换的过程，位于雷达坐标系或世界坐标系下的点云数据，经由外参矩阵，转换到相机坐标系下，再通过内参矩阵转换为图像像素坐标。当前，内参标定通常采用张正友棋盘格标定法得到，外参标定的方法可分为两类，一类是通过立体视觉生成以相机坐标系为原点的点云，将其与激光雷达点云进行配准，获得雷达坐标系与相机坐标系之间的刚体变换。另一类是特征点匹配方法，分别在相机和激光雷达数据中提取特征点，完成二维与三维特征点的匹配，通过PNP求解两坐标系之间的位置关系。前者需经过单目标定、双目标定、立体匹配等步骤，误差累积较大，实现复杂。后者需设计不同的标定板或标定物，由于单线激光雷达的点云数据具有稀疏性，在一个姿态下仅有一个扫描平面，很难直接得到雷达坐标系与相机坐标系之间的对应关系。
[0004]高炉炉料在传送带上占据一定空间，单线激光雷达扫描炉料表面会得到不同距离信息，可对单线激光雷达扫描角度形成约束，且激光雷达扫描线在相机拍摄的图像上是可见的，因此，本专利技术提出了一种利用高炉炉料高度特征的单线激光雷达与可见光相机的外参标定方法，通过炉料深度数据与图像数据处理得到对应的特征点对，实现雷达坐标系到相机坐标系的转换。该方法操作简单，易于工程实现，克服了联合标定需要借助复杂标定装置的难题。
[0005]申请公布号CN 111311689 A公开了一种多线激光雷达与相机相对外参的标定方法及系统，该专利技术提出了一种激光雷达与相机相对外参的标定方法，通过相机拍摄球体标志物得到单帧图像，获得球体标志物在相机坐标系下的二维坐标；通过激光雷达扫面球体标志物的点云数据，得到球体标志物在雷达坐标系下的三维坐标。二维坐标与三维坐标组成对应数据对，求解得出激光雷达坐标系和相机坐标系的转换关系。
[0006]该专利技术中通过平面点云去除与球面点云拟合得到球体标志物球心的三维坐标。为拟合出球面，要求至少有三行激光束能同时投射到球体标志物上，而单线激光雷达每次扫描仅能投射一条激光线，通过一帧点云数据无法获得球体标志物中心在雷达坐标系下的位置。
[0007]申请公布号CN 112308928 A公开了一种无标定装置的相机与激光雷达自动标定方法，该专利技术选择对象中心坐标构建数据对，在获得外参的初始标定结果后，根据所构建的
匹配计算函数对位姿变换求导，计算出最优解，得到最终标定结果。
[0008]该专利技术利用两帧图像获得插值后的对象中心坐标，利用RANSAC算法保留对象点云，计算点云中心坐标。然而，对于传送带上的炉料而言，炉料对象全部或者将近占据相机整个视野，且炉料大小不一，相互堆叠，数量较多，计算其对应的图像中心与点云中心并不可取。

技术实现思路

[0009]本专利技术提供的单线激光雷达与可见光相机的外参标定方法及系统，解决了现有激光雷达与相机外参标定精度低的技术问题。
[0010]为解决上述技术问题，本专利技术提出的单线激光雷达与可见光相机的外参标定方法包括：
[0011]获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据，并根据时间差阈值与点云数据量阈值，实现单帧炉料图像与单帧点云数据的时间匹配；
[0012]建立相机畸变模型，并根据相机畸变模型对炉料图像进行校正；
[0013]根据校正后的炉料图像，提取激光扫描中心线，并确定激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标；
[0014]根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值，从而获得点云数据局部极值在雷达坐标系下的三维坐标；
[0015]根据激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标以及点云数据局部极值在雷达坐标系下的三维坐标的特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵。
[0016]进一步地，获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据之前包括：
[0017]对单线激光雷达与可见光相机进行适配安装，使得单线激光雷达与可见光相机在空间与时间上同步，且对单线激光雷达与可见光相机进行适配安装包括将可见光相机水平固定在炉料传送带的上方，相机视角包含传送带的全部宽度，将单线激光雷达向下倾斜固定在传送带上方，倾斜角度约为5
°
，与可见光相机水平间距约7cm，垂直间距约44cm，标定过程及后续粒径检测过程中，始终保持可见光相机和单线激光雷达的相对位置不变。
[0018]进一步地，建立相机畸变模型，并根据相机畸变模型对炉料图像进行校正包括：
[0019]采用张正友棋盘标定方法获得相机径向畸变与切向畸变参数；
[0020]根据相机径向畸变与切向畸变参数建立相机畸变模型，且畸变模型具体为：
[0021][0022]其中，x
c
代表畸变后像素的横坐标，y
c
代表畸变后像素的纵坐标，x
p
代表畸变前像素的横坐标，y
p
代表畸变前像素的纵坐标，k1、k2、k3为径向畸变系数，p1、p2为切向畸变系数，r为炉料图像像素点到炉料图像中心点的距离。
[0023]进一步地，根据校正后的炉料图像，提取激光扫描中心线包括：
[0024]对校正后的炉料图像进行ROI提取，获得包含激光扫描线的ROI区域；
[0025]对ROI区域进行Hough直线检测，从而去除ROI区域中激光扫描线两端的直线段；
[0026]采用Hough圆检测方法对去除激光扫描线两端的直线段的ROI区域进行去噪；
[0027]通过灰度重心法提取去噪后的ROI区域中的激光扫描中心线。
[0028]进一步地，通过灰度重心法提取去噪后的ROI区域中的激光扫描中心线具体为：
[0029]根据去噪后的ROI区域中的激光扫描线的截面灰度值分布中的质心，获得激光扫描中心线，且获得激光扫描中心线后还包括对激光扫描中心线中的异常值进行剔除。
[0030]进一步地，根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值之前还包括对点云数据进行滤波预处理。
[0031]本专利技术提供的单线激光雷达与可见光相机的外参标定系统包括：
[0032]存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本专利技术提供的单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单线激光雷达与可见光相机的外参标定方法，其特征在于，所述方法包括：获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据，并根据时间差阈值与点云数据量阈值，实现单帧炉料图像与单帧点云数据的时间匹配；建立相机畸变模型，并根据所述相机畸变模型对炉料图像进行校正；根据校正后的炉料图像，提取激光扫描中心线，并确定激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标；根据点云数据的步长与炉料图像像素的数目信息，对稀疏的点云数据进行插值，从而获得点云数据局部极值在雷达坐标系下的三维坐标；根据激光扫描中心线的局部极值在图像坐标系下所对应的二维坐标以及点云数据局部极值在雷达坐标系下的三维坐标的特征点对，利用线性最小二乘法获得相机与单线激光雷达的外参矩阵。2.根据权利要求1所述的单线激光雷达与可见光相机的外参标定方法，其特征在于，获得同时间段内可见光相机采集的多帧炉料图像数据与单线激光雷达采集的多帧点云数据之前包括：对单线激光雷达与可见光相机进行适配安装，使得单线激光雷达与可见光相机在空间与时间上同步，且对单线激光雷达与可见光相机进行适配安装包括将可见光相机水平固定在炉料传送带的上方，相机视角包含传送带的全部宽度，将单线激光雷达向下倾斜固定在传送带上方，倾斜角度约为5
°
，与可见光相机水平间距约7cm，垂直间距约44cm，标定过程及后续粒径检测过程中，始终保持可见光相机和单线激光雷达的相对位置不变。3.根据权利要求2所述的单线激光雷达与可见光相机的外参标定方法，其特征在于，建立相机畸变模型，并根据所述相机畸变模型对炉料图像进行校正包括：采用张正友棋盘标定方法获得相机径向畸变与切向畸变参数；根据相机径向畸变与切向畸变参数建立相机畸变模型，...

【专利技术属性】
技术研发人员：蒋朝辉，何瑞清，刘金狮，余金花，桂卫华，张海峰，
申请(专利权)人：广西柳钢东信科技有限公司，
类型：发明
国别省市：