一种单次拍摄的LIDAR与全景相机的外参数标定方法技术

本发明专利技术涉及一种单次拍摄的LIDAR与全景相机的外参数标定方法，包括如下内容将LIDAR与全景相机固定在Robotnik移动机器人上。然后将多个棋盘放置于LIDAR与全景相机的共同视场下，一次拍摄收集单帧的全景图像与该帧全景图像对应的点云数据；接着，利用生长的棋盘角点检测算法，检测出全景图像的棋盘角点；对点云数据进行预处理，分割去除点云地面，分割点云平面、提取棋盘点云；基于点云的反射强度，估计出棋盘点云的棋盘角点；最后，通过定义从棋盘左下侧开始的角点共同计数顺序，建立全景图像的棋盘角点与点云的棋盘角点的几何约束方程，求解出外部校准参数。只需要一次拍摄，就能实现LIDAR和全景相机的外参数标定。

An external parameter calibration method of lidar and panoramic camera for single shot

【技术实现步骤摘要】
一种单次拍摄的LIDAR与全景相机的外参数标定方法
本专利技术涉及传感器标定方法领域，特别是一种单次拍摄的LIDAR与全景相机的外参数标定方法。
技术介绍
近些年来，随着机器人技术的发展成熟，广泛应用于资源勘探开发、救灾排险、家庭娱乐、定位导航等各类领域。为了使机器人在环境中感测更多可用信息，一般需要配备多类传感器。最常见的是LIDAR与全景相机的组合，全景相机能够获取丰富的颜色、形状、纹理等环境信息，但无法获得环境目标的距离信息；而LIDAR正好相反,它能够获取广泛范围的环境目标的位置信息与距离信息，但是无法得到颜色、形状、纹理等信息。因此，基于LIDAR与全景相机传感器的互补特性，将两类传感器数据融合，可以获得更为精确可用的目标信息。所以说，融合来自LIDAR和全景相机数据信息的关键步骤是准确、快捷的外部校准。在移动机器人上搭载LIDAR和全景相机，LIDAR与全景相机传感器通过外部校准以便在公共坐标系中表示感测信息。为了确定3DLIDAR和全景相机两者之间的位置关系，通过建立LIDAR和全景相机各自采集目标特征之间的几何约束关系来求解。因此，外部校准方法可以分为基于点云特征线与图像特征线或者特征面、基于点云特征点与基于图像特征线或者特征面以及基于点云特征点与图像特征点的三种几何对应约束关系的方法。一般来说，基于点云特征点与图像特征点对应的几何约束关系的方法，比基于点云特征线与图像特征线或者特征面、基于点云特征点与基于图像特征线或者特征面的方法精度更高，但是在点云中，特征点相比于特征线与特征面更加难以捕捉。在大多数的激光校准工作中，经常需要手动干预校准过程，比如手动的选择点、线或者面，除此之外，实验中需要多次使用相机采集图像，激光采集点云数据，因此，实验过程繁琐。
技术实现思路
有鉴于此，本专利技术的目的是提供一种单次拍摄的LIDAR与全景相机的外参数标定方法，克服大多数技术需要手动干预，多次采集数据，以及校准过程繁琐不足的问题。本专利技术采用以下方案实现：一种单次拍摄的LIDAR与全景相机的外参数标定方法，提供一Robotnik移动机器人，其特征在于：包括以下步骤：步骤S1：将LIDAR(Velodyne-HDL-64e)与全景相机(Ladybug5)固定在Robotnik移动机器人上；然后将m个棋盘放置于LIDAR与全景相机的共同视场下，一次拍摄收集单帧的全景图像与该帧全景图像对应的点云数据；步骤S2：利用生长的棋盘角点检测算法，检测出全景图像的棋盘角点Ic；步骤S3：对点云数据进行预处理，分割去除点云地面，分割点云平面、提取棋盘点云；步骤S4：基于点云的反射强度，估计出点云棋盘角点pL；步骤S5：通过定义从棋盘左下侧开始的角点共同计数顺序，建立全景图像的棋盘角点Ic与点云的棋盘角点pL的几何约束方程，求解出外参数R*,t*。进一步地，所述步骤S1具体包括以下步骤：步骤S11：通过螺栓连接将LIDAR(Velodyne-HDL-64e)与全景相机(Ladybug5)固定在Robotnik移动机器人上；步骤S12：构建一个室外场景，在场景中放置m块标定棋盘，每块棋盘的大小为600mm×450mm，棋盘中每个正方形的大小为75mm×75mm，并且满足多个棋盘在LIDAR与全景相机共同视场下的要求，其中，m取值为3、4、...11、12，m为整数；步骤S13：利用步骤S11固定在移动机器人上的LIDAR与全景相机，使用全景相机收集一帧步骤S12构建场景的全景图像，LIDAR收集这帧全景图像对应的点云数据。进一步地，步骤S2中所述检测出全景图像的棋盘角点Ic的具体内容为：步骤S21：粗定位棋盘格角点的位置：首先定义两种不同类型的角点原型，原型1是一种和坐标轴平行的角点，原型2是一种与坐标轴成45°的角点；每个原型分别由4个卷积核组成，令原型1由四个卷积核K1,K2,K3,K4组成，原型2由四个卷积核K5,K6,K7,K8组成，分别用于与全景图像进行卷积操作；通过两个角点原型来定义全景图像中每个像素点与角点的相似程度；其中表示与原型1相似程度的两种可能，表示与原型2相似程度的两种可能，原型1与原型2的相似程度的两种可能相同，表示的是左对角线为黑，右对角线为白，或者左对角线为白，右对角线为黑，表示卷积核K1,K2,K3,K4原型1在某个像素的卷积值，表示卷积核K5,K6,K7,K8原型2在某个像素的卷积值，c表示图像棋盘角点的最大相似程度；通过计算角点相似程度，得到大致的角点范围；然后通过非极大值抑止算法来获得候选角点cp；步骤S22：令c是理想的角点位置，p是c局部邻域的一个像素点，Gp是p点的图像梯度向量，此时满足如下式子：由于实际图像中不止一个局部领域的像素点，因此在候选角点cp的邻域N(cp)内满足下列公式条件的就是所需要的棋盘角点Ic；进一步地，所述步骤S3具体包括以下步骤：步骤S31：估计点云棋盘角点之前，对点云数据进行预处理；通过PCL中的直通滤波器模块，将点云PcL＝{(x,y,z)}中X,Y方向超过8m远的点剔除；其中，pi＝(x,y,z)是点云PcL中的一点；步骤S32：根据步骤S31将点云远点剔除后，基于形态学算法将点云地面分离，用以减小在点云平面分割时，地面点的干扰；其中，将点云测量点p(x,y,z)，x,y处的高度z定义为膨胀因子dp，腐蚀因子ep与膨胀因子相对应；w是测量点p的邻近窗口大小；wj＝2jb+1(13)对于w窗口大小根据上述公式，线性增加窗口大小；其中j＝1,2,3,...,360，j为整数，b是初始窗口大小；定义一个因子s来判断切除深度阈值dh；令物体坡度恒定，则最大坡度差为dhmax(t),k，因子s与窗口大小wk存在关系：其中，dhT,j表示第j窗口切除深度阈值，将点云中的点依次带入公式(11)-(15)，计算出切除深度阈值dhT,j，若腐蚀因子大于切除深度阈值，则将该点移除，否则该点保存，其中T表示阈值，j表示第j个窗口大小；步骤S33：根据步骤S32将点云地面移除后，剩余的点云集合为PrL；利用区域增长算法对点云平面进行分割；首先将剩余点云中每个点的曲率值从小到大排序，曲率值越小，表示所在区域越平坦；然后，将曲率值最小点Pmin加入种子点，搜索它的K个最近邻点计算每个点的法向量并与最小法向量Nmin相比，若不大于平滑阈值Tth，则该点加入点云平面RL:若小于曲率阈值cth，则将该点加入种子点，生长每个区域直到它收敛，并从PrL移除，如此循环，直到PrL中没有剩余的点；最后使用棋盘平面度、形状大小条件，提取出棋盘点云m表示棋盘的数量；其中，提取棋盘点云的具体内容：由提取的点云平面RL组成矩阵Mn×本文档来自技高网...

【技术保护点】
1.一种单次拍摄的LIDAR与全景相机的外参数标定方法，提供一Robotnik移动机器人，其特征在于：包括以下步骤：/n步骤S1：将LIDAR与全景相机固定在所述Robotnik移动机器人上；然后将m个棋盘放置于LIDAR与全景相机的共同视场下，一次拍摄收集单帧的全景图像与该帧全景图像对应的点云数据；/n步骤S2：利用生长的棋盘角点检测算法，检测出全景图像的棋盘角点I

【技术特征摘要】
1.一种单次拍摄的LIDAR与全景相机的外参数标定方法，提供一Robotnik移动机器人，其特征在于：包括以下步骤：
步骤S1：将LIDAR与全景相机固定在所述Robotnik移动机器人上；然后将m个棋盘放置于LIDAR与全景相机的共同视场下，一次拍摄收集单帧的全景图像与该帧全景图像对应的点云数据；
步骤S2：利用生长的棋盘角点检测算法，检测出全景图像的棋盘角点Ic；
步骤S3：对点云数据进行预处理，分割去除点云地面，分割点云平面、提取棋盘点云；
步骤S4：基于点云的反射强度，估计出点云棋盘角点pL；
步骤S5：通过定义从棋盘左下侧开始的角点共同计数顺序，建立全景图像的棋盘角点Ic与点云的棋盘角点pL的几何约束方程，求解出外参数R*,t*。


2.根据权利要求1所述的一种单次拍摄的LIDAR与全景相机的外参数标定方法，其特征在于：所述步骤S1具体包括以下步骤：
步骤S11：通过螺栓连接将LIDAR与全景相机固定在Robotnik移动机器人上；
步骤S12：构建一个室外场景，在场景中放置m块标定棋盘，每块棋盘的大小为600mm×450mm，棋盘中每个正方形的大小为75mm×75mm，并且满足多个棋盘在LIDAR与全景相机共同视场下的要求，其中，m取值为3、4、...11、12，m为整数；
步骤S13：利用步骤S11固定在移动机器人上的LIDAR与全景相机，使用全景相机收集一帧步骤S12构建场景的全景图像，LIDAR收集这帧全景图像对应的点云数据。


3.根据权利要求1所述的一种单次拍摄的LIDAR与全景相机的外参数标定方法，其特征在于：步骤S2中所述检测出全景图像的棋盘角点Ic的具体内容为：
步骤S21：粗定位棋盘格角点的位置：首先定义两种不同类型的角点原型，原型1是一种和坐标轴平行的角点，原型2是一种与坐标轴成45°的角点；每个原型分别由4个卷积核组成，令原型1由四个卷积核K1,K2,K3,K4组成，原型2由四个卷积核K5,K6,K7,K8组成，分别用于与全景图像进行卷积操作；
通过两个角点原型来定义全景图像中每个像素点与角点的相似程度；





















其中表示与原型1相似程度的两种可能，表示与原型2相似程度的两种可能，原型1与原型2的相似程度的两种可能相同，表示的是左对角线为黑，右对角线为白，或者左对角线为白，右对角线为黑，表示卷积核K1,K2,K3,K4原型1在某个像素的卷积值，表示卷积核K5,K6,K7,K8原型2在某个像素的卷积值，c表示图像棋盘角点的最大相似程度；通过计算角点相似程度，得到大致的角点范围；然后通过非极大值抑止算法来获得候选角点cp；
步骤S22：令c是理想的角点位置，p是c局部邻域的一个像素点，Gp是p点的图像梯度向量，此时满足如下式子：



由于实际图像中不止一个局部领域的像素点，因此在候选角点cp的邻域N(cp)内满足下列公式条件的就是所需要的棋盘角点Ic；





4.根据权利要求1所述的一种单次拍摄的LIDAR与全景相机的外参数标定方法，其特征在于：所述步骤S3具体包括以下步骤：
步骤S31：估计点云棋盘角点之前，对点云数据进行预处理；通过PCL中的直通滤波器模块，将点云PcL＝{(x,y,z)}中X,Y方向超过8m远的点剔除；



其中，pi＝(x,y,z)是点云PcL中的一点；
步骤S32：根据步骤S31将点云远点剔除后，基于形态学算法将点云地面分离，用以减小在点云平面分割时，地面点的干扰；






其中，将点云测量点p(x,y,z)，x,y处的高度z定义为膨胀因子dp，腐蚀因子ep与膨胀因子相对应；w是测量点p的邻近窗口大小；
wj＝2jb+1(13)
对于w窗口大小根据上述公式，线性增加窗口大小；其中j＝1,2,3,...,360，j为整数，b是初始窗口大小；
定义一个因子s来判断切除深度阈值dh；令物体坡度恒定，则最大坡度...

【专利技术属性】
技术研发人员：何炳蔚，邓清康，胡誉生，林立雄，张立伟，陈彦杰，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35