一种三维点云与可见光图像融合方法技术

本发明专利技术提供了一种基于平面标定板的激光雷达与相机自动标定方法，并基于此方法进行三维点云和光学图像的融合。该方法避免了以往因人工匹配导致的误差较大的问题，同时不需要专门制作复杂的标定板，操作简单，可实施性强。首先基于平面标定板对激光雷达与相机进行系统自动标定，获得激光雷达

【技术实现步骤摘要】
一种三维点云与可见光图像融合方法


[0001]本专利技术涉及多传感器标定及异源数据融合技术。具体涉及激光雷达和光学相机的标定和三维点云与二维光学图像的融合。

技术介绍

[0002]近年来随着激光雷达设备的不断完善，三维点云和可见光图像的融合技术日益成为研究热点。三维点云具有丰富的空间信息且不易受光照的影响，但是分辨率较低，缺少真实的色彩纹理信息。相反，光学图像能够获得真实的色彩纹理信息且具有较高的分辨率，但不包含三维空间信息。因此快速准确地将二者融合，可以提升数据的信息量，发挥二者的互补优势。二者的融合结果可以实现三维的真彩色表达，融合可视化结果在多个领域具有重要意义。如构建三维实体模型、建设智慧城市、地物分类及军用战争方面。当前的方法或因人工参与导致精度较低；或对环境场景要求较高；或需要专门设计和制作复杂的标定物，程序复杂且成本高。本专利技术避免了以往因人工匹配导致的误差较大的问题，同时不需要专门制作复杂的标定板，操作简单，可实施性强。

技术实现思路

[0003]有鉴于此，本专利技术提供了一种基于平面标定板的激光雷达与相机自动标定方法，并基于此方法进行三维点云和光学图像的融合。实现本专利技术的技术方案如下：
[0004]本专利技术公开了一种基于激光雷达与相机自动标定的三维点云和光学图像融合方法，包括以下步骤：
[0005]步骤一，将激光雷达和相机固定，保证不发生位置的相对变化。
[0006]步骤二，对光学相机进行内参标定，标定板选择棋盘格标定板。
[0007]步骤三，对激光雷达与相机系统进行联合标定，标定板应用平板矩形板，无特殊要求。多次更改标定板位置，获取每一位置的对应光学图像和点云。
[0008]步骤四，对每一位置的点云数据进行多帧帧间匹配以提高点云密度，提升融合效果。
[0009]步骤五，自动提取光学图像中特征点。通过Canny算子对图像进行边缘检测，查找出标定板轮廓。运用改进的Doulas
‑
Peucker算法对图像中的轮廓进行多边形拟合并进行筛选操作。提取上述筛选出矩形轮廓的顶点坐标，所得即为光学图像中特征点的坐标。
[0010]步骤六，自动提取三维点云中的同名特征点。应用RANSAC算法在场景中分割出标定板平面，同时计算平面法向量来提取平面板边缘点最外围的边界轮廓。采用RANSAC算法拟合出平面标定板轮廓的空间直线。建立空间直线方程。将相邻空间直线方程两两联立即可求得点云中平面标定板的特征点。
[0011]步骤七，通过相机内参和同名特征点坐标计算出激光雷达和光学相机系统的外参矩阵。
[0012]步骤八，应用步骤七中获得的系统外参矩阵，通过共线方程建立起物方点和像点
的对应关系，将像点所具备的RGB信息赋予对应的点云模型中的点，从而实现融合。
[0013]与以往的方法相比，本专利技术的有益效果在于：
[0014]1、避免了以往人工选择特征点误差较大的问题，一定程度上提升了标定的精度和自动化程度。
[0015]2、不需要专门制作复杂的标定板，操作简单，可实施性强。
[0016]3、通过多帧点云帧间匹配的方法提升了点云密度，可以更加充分利用图像的彩色信息，在一定程度上提升可视化效果。
附图说明
[0017]图1所示为本专利技术的流程示意图。
[0018]图2所示为光学图像特征点提取示意图。
[0019]图3所示为点云特征点提取示意图。
[0020]图4所示为采集到的光学图像。
[0021]图5所示为采集到的点云图像。
[0022]图6所示为融合后的真彩色点云图像。
具体实施方式
[0023]本专利技术公开了一种基于激光雷达与相机自动标定的三维点云和光学图像融合方法，下面举出具体实施方式，本专利技术包含但是不局限于以下方式，下面结合附图进行说明：
[0024]如图1所示，一种基于激光雷达与相机自动标定的三维点云和光学图像融合方法，包括以下步骤：
[0025]步骤一，将激光雷达和相机固定，保证不发生位置的相对变化。
[0026]步骤二，对光学相机进行内参标定，标定板选择棋盘格标定板，通过对棋盘格标定板进行平移和旋转获得光学相机内参。
[0027]步骤三，对激光雷达与相机系统进行联合标定，标定板应用平板矩形板，无特殊要求。多次更改标定板位置，对标定板进行平移和旋转，采集至少6个不同位置的光学图像和三维点云。
[0028]步骤四，对每一位置的点云数据进行多帧帧间匹配以提高点云密度，提升融合效果。
[0029]步骤五，自动提取光学图像中特征点。通过Canny算子对图像进行边缘检测，查找出标定板轮廓。运用改进的Doulas
‑
Peucker算法对图像中的轮廓进行多边形拟合并进行筛选操作。提取上述筛选出矩形轮廓的顶点坐标，所得即为光学图像中特征点的坐标，如图2。
[0030]步骤六，自动提取三维点云中的同名特征点。应用RANSAC算法在场景中分割出标定板平面，同时计算平面法向量来提取平面板边缘点最外围的边界轮廓。采用RANSAC算法拟合出平面标定板轮廓的空间直线。建立空间直线方程。将相邻空间直线方程两两联立即可求得点云中平面标定板的特征点，如图3。
[0031]步骤七，通过相机内参和同名特征点坐标计算出激光雷达和光学相机系统的外参矩阵。
[0032]步骤八，应用激光雷达
‑
相机系统采集所需场景下的光学图像和三维点云，并对点
云数据进行多帧帧间匹配以提高点云密度。如图4，图5所示。
[0033]步骤九，应用步骤七中获得的系统外参矩阵，通过共线方程建立起物方点和像点的对应关系，将像点所具备的RGB信息赋予对应的点云模型中的点，从而实现融合，如图6。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于平面标定板的激光雷达与相机自动标定方法，其特征在于，无需进行人工匹配，从而减小误差。不需要专门制作复杂的标定板，操作简单，可实施性强。包括以下步骤：步骤一，将激光雷达和相机固定，保证不发生位置的相对变化。步骤二，对光学相机进行内参标定，标定板选择棋盘格标定板。步骤三，对激光雷达与相机系统进行联合标定，标定板应用平板矩形板，无特殊要求。多次更改标定板位置，获取每一位置的对应光学图像和点云。步骤四，对每一位置的点云数据进行多帧帧间匹配以提高点云密度，提升融合效果。步骤五，自动提取光学图像中特征点和三维点云中的同名特征点。步骤六，通过相机内参和同名特征点坐标计算出激光雷达和光学相机系统的外参矩阵。2.如权利要求1所述的自动提取光学图像中特征点，其特征在于，包括以下步骤：步骤一，通过Canny算子对图像进行边缘检测，查找出标定板轮廓...

【专利技术属性】
技术研发人员：唐义，张佳，卞子煜，张余豪，
申请(专利权)人：苏州朗晖光电科技有限公司，
类型：发明
国别省市：