一种面向生态园场景的激光雷达和相机在线标定方法技术

本发明专利技术公开了一种面向生态园环境的激光雷达和相机在线标定方法，包括步骤：在自动清洁小车上安装激光雷达和摄像头；利用激光雷达和摄像头分别进行数据采集，得到点云数据和RGB图像；利用太阳能面板在RGB图像中的成像特性，提取RGB图像中的太阳能面板特征像素；利用激光雷达在不同材料上的反射强度不同的特性，提取点云数据中的太阳能面板特征点云；通过动态规划算法对特征像素和特征点云进行滤波和中心化处理，得到图像和点云特征点集合；基于kdtree最近邻匹配的ICP算法对图像和点云特征点集合进行求解，得到外参矩阵。该方法能够自动、快速和准确地确定激光雷达和相机的外参矩阵，为无人驾驶小车在生态园中的高效工作奠定基础。基础。基础。

【技术实现步骤摘要】
一种面向生态园场景的激光雷达和相机在线标定方法


[0001]本专利技术涉及无人驾驶
，特别是涉及一种面向生态园场景的激光雷达和相机在线标定方法。

技术介绍

[0002]近年来，无人驾驶技术飞速发展。无人驾驶不仅能够缓解交通压力，提高人们的出行体验，而且在一些封闭区域例如生态园等能够发挥举足轻重的作用。生态园是指偏远废弃矿坑经过改造后成为具备太阳能发电功能和环境保护功能的封闭草场，但是矿坑大多处于风沙肆虐的恶劣环境中，太阳能面板需要定期及时清理，无人驾驶生态园小车能够很好地胜任这个工作。丰富的传感器是无人驾驶车辆在复杂的场景下发挥感知和定位功能的基石，其中传感器标定是传感器高效工作的基础。传感器标定又分为内参标定和外参标定，内参标定包括相机去畸变、激光雷达内部偏差标定等，外参标定是指不同传感器之间的相对位置和姿态，常见的有激光和惯导单元之间的位置和姿态，激光和相机之间的位置和姿态等。不同传感器之间外参的标定精度直接影响无人驾驶车辆的感知精度。
[0003]在激光雷达和相机之间的外参标定领域中，精度和自动化程度一直是两个矛盾的追求目标。基于特征提取的标定方法通过提取激光点云和图像的共有特征求解PnP问题实现了非常高的标定精度，但是这种方法需要制作特殊的标定板，自动化程度很低；基于运动的方法把外参标定看作手眼标定问题，一定程度地提高了自动化程度，但是其精度取决于相机和激光雷达的运动估计；基于最大化互信息的方法认为图像灰度和反射强度有一定的相关性，精度和自动化程度比较高，缺点是只能工作在特定的环境之下；基于深度学习的方法自动化程度很高，但是其训练和处理需要大量的时间，而且泛化能力不强。
[0004]中国专利公开号CN115100292A，专利技术名称为《一种道路环境的激光雷达和相机之间外参在线标定方法》，主要提供了在道路环境下利用多帧滑动窗口约束进行激光雷达和相机之间外参标定的方法。通过使用误差构建方法构建相机和激光雷达数据2D
‑
3D的关联关系，获得非线性的优化目标，该方法能够很好地计算激光雷达和相机的外参矩阵。但是该方法需要通过棋盘格标志物对激光雷达和相机之间的外参进行离线标定，作为在线标定的外参初始值，这大大降低了无人驾驶小车的自动化程度。
[0005]中国专利公开号CN114862968A，专利技术名称为《基于注意力机制的激光雷达和相机自动标定方法及装置》，该专利技术将RGB图像和激光雷达点云输入到预先训练好的跨模态注意力目标关联网络进行编码，得到RGB图像和激光雷达点云对应的特征图后进行后处理，得到外参。该专利技术所需装置比较复杂，需要大量计算机设备组成各种模块，不能很好地实现快速部署的要求。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的缺点与不足，提供一种面向生态园环境的激光雷达和相机在线标定方法，目的在于自动、快速和准确地确定激光雷达和相机的外参矩阵，
为无人驾驶小车在生态园中的高效工作奠定基础。
[0007]本专利技术采用如下技术方案：
[0008]一种面向生态园环境的激光雷达和相机在线标定方法，包括以下步骤：
[0009]步骤1：在自动清洁小车上安装激光雷达和摄像头；
[0010]步骤2：自动清洁小车在生态园中进行太阳能面板清洁作业，利用激光雷达和摄像头分别进行数据采集，得到点云数据和RGB图像；
[0011]步骤3：利用太阳能面板在RGB图像中的成像特性，提取RGB图像中的太阳能面板特征像素；
[0012]步骤4：利用激光雷达在不同材料上的反射强度不同的特性，提取点云数据中的太阳能面板特征点云；
[0013]步骤5：通过动态规划算法对特征像素和特征点云进行滤波和中心化处理，得到图像和点云特征点集合；
[0014]步骤6：基于kdtree最近邻匹配的ICP算法对图像和点云特征点集合进行求解，得到外参矩阵。
[0015]进一步，所述步骤1，所述激光雷达和摄像头安装于车头上方。
[0016]进一步，所述步骤3，提取图像数据中RGB通道值均小于5的像素点标记为特征像素。
[0017]进一步，所述步骤4，提取点云数据中反射强度小于阈值的点标记为特征点云。
[0018]进一步，所述步骤5，通过动态规划算法对特征像素进行滤波和中心化处理，包括以下子步骤：
[0019](1)所述步骤3得到的特征像素构成图像特征像素点集V，从图像特征像素点集V中随机选取一点v0，添加v0到聚类中心点集K0中，同时把v0从V中删除；
[0020](2)标记v0为已处理，以v0为中心，搜索其4
×
4领域中的特征点的数量；
[0021](3)如果v0领域中的特征点数量大于3，v0领域中的特征点均从V中删除，添加到K0中，并且标记为未处理；
[0022](4)搜索K0中未处理的点，按照步骤(2)、步骤(3)处理v0的方法对其进行操作；
[0023](5)如果K0中所有点均已处理，回到步骤(1)随机选取v
k
添加v
k
到聚类中心点集K
k
中，同时把v
k
从V中删除，直至点集V成为空集；
[0024](6)搜索集合K
0～n
中元素数量少于5个的集合，标记为离群值并且去除；
[0025](7)去除离群值后的K
0～n
即为图像特征点集合。
[0026]进一步，所述步骤5，通过动态规划算法对特征点云进行滤波和中心化处理，包括以下子步骤：
[0027]S1，设激光雷达和相机之间的旋转矩阵为R，平移矩阵为T，相机内参矩阵为K，待投影点云坐标为(x,y,z)，投影后坐标为(u,v)，根据投影规则有：
[0028][0029]根据初始标定R，T矩阵，将三维点云投影到二维图像上并记录对应关系，所述投影点构成点云数据投影点集；
[0030]S2，利用动态规划算法对点云数据投影点集进行滤波和中心化处理：
[0031](1)从点云数据投影点集V
′
中随机选取一点v0′
，添加v0′
到聚类中心点集K0′
中，同时把v0′
从V
′
中删除；
[0032](2)标记v0′
为已处理，以v0′
为中心，搜索其4
×
4领域中的特征点的数量；
[0033](3)如果v0′
领域中的特征点数量大于3，v0′
领域中的特征点均从V
′
中删除，添加到K0′
中，并且标记为未处理；
[0034](4)搜索K0′
中未处理的点，按照步骤(2)、步骤(3)处理v0′
的方法对其进行操作；
[0035](5)如果K0′
中所有点均已处理，回到步骤(1)随机选取v
k
′
添加v
k
′
到聚类中心点集K
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向生态园环境的激光雷达和相机在线标定方法，其特征在于，包括以下步骤：步骤1：在自动清洁小车上安装激光雷达和摄像头；步骤2：自动清洁小车在生态园中进行太阳能面板清洁作业，利用激光雷达和摄像头分别进行数据采集，得到点云数据和RGB图像；步骤3：利用太阳能面板在RGB图像中的成像特性，提取RGB图像中的太阳能面板特征像素；步骤4：利用激光雷达在不同材料上的反射强度不同的特性，提取点云数据中的太阳能面板特征点云；步骤5：通过动态规划算法对特征像素和特征点云进行滤波和中心化处理，得到图像和点云特征点集合；步骤6：基于kdtree最近邻匹配的ICP算法对图像和点云特征点集合进行求解，得到外参矩阵。2.根据权利要求1所述的一种面向生态园环境的激光雷达和相机在线标定方法，其特征在于，所述步骤1，所述激光雷达和摄像头安装于车头上方。3.根据权利要求1所述的一种面向生态园环境的激光雷达和相机在线标定方法，其特征在于，所述步骤3，提取图像数据中RGB通道值均小于5的像素点标记为特征像素。4.根据权利要求1所述的一种面向生态园环境的激光雷达和相机在线标定方法，其特征在于，所述步骤4，提取点云数据中反射强度小于阈值的点标记为特征点云。5.根据权利要求1
‑
4任一项所述的一种面向生态园环境的激光雷达和相机在线标定方法，其特征在于，所述步骤5，通过动态规划算法对特征像素进行滤波和中心化处理，包括以下子步骤：(1)所述步骤3得到的特征像素构成图像特征像素点集V，从图像特征像素点集V中随机选取一点v0，添加v0到聚类中心点集K0中，同时把v0从V中删除；(2)标记v0为已处理，以v0为中心，搜索其4
×
4领域中的特征点的数量；(3)如果v0领域中的特征点数量大于3，v0领域中的特征点均从V中删除，添加到K0中，并且标记为未处理；(4)搜索K0中未处理的点，按照步骤(2)、步骤(3)处理v0的方法对其进行操作；(5)如果K0中所有点均已处理，回到步骤(1)随机选取v
k
添加v
k
到聚类中心点集K
k
中，同时把v
k
从V中删除，直至点集V成为空集；(6)搜索集合K
0～n
中元素数量少于5个的集合，标记为离群值并且去除；(7)去除离群值后的K
0～n
即为图像特征点集合。6.根据权利要求5所述的一种面向生态园环境的激光雷达和相机在线标定方法，其特征在于，所述步骤5，通过动态规划算法对特征点云进行滤波和中心化处理，包括以下子步骤：S1，设激光雷达和相机之间的旋转矩阵为R，平移矩阵为T，相机内参矩阵为K，待投影点云坐标为(x,y,z)，投影后坐标为(u,v)，根据投影规则有：
根据初始标定R，T矩阵，将三维点云投影到二维图像上并记录对应关系，所述投影点构成点云数据投影点集；S2，利用动态规划算法对点云数据投影点集进行滤波和中心化处理：(1)从点云数据投影点集V
′
中随机选取一点v0′
，添加v0′
到聚类中心点集K0′
中，同时把v0...

【专利技术属性】
技术研发人员：王昊，余贵珍，周彬，王章宇，
申请(专利权)人：北京航空航天大学合肥创新研究院北京航空航天大学合肥研究生院，
类型：发明
国别省市：