基于端到端的相机与激光雷达标定方法、系统及介质技术方案

本发明专利技术提供了一种基于端到端的相机与激光雷达标定方法、系统及介质，包括：步骤1：对相机RGB图像进行逐层特征提取；步骤2：对激光雷达点云数据进行逐层特征提取；步骤3：对提取的相机RGB图像特征和激光雷达点云数据特征进行融合；步骤4：基于融合后的特征进行逐层学习相应外参标定矩阵；步骤5：对每层的外参标定矩阵进行整合，得到最终的外参标定矩阵并进行标定。本发明专利技术提升了相机与激光雷达标定的精度，改善了传统卷积神经网络方法在由点云获得的深度特征提取上的误差问题，在特征融合方式上提出了新的融合方式，在自动驾驶等场景上有实际利用价值。

【技术实现步骤摘要】
基于端到端的相机与激光雷达标定方法、系统及介质
本专利技术涉及计算机视觉
，具体地，涉及一种基于端到端的相机与激光雷达标定方法、系统及介质。
技术介绍
在视觉同时定位与建图(SLAM)领域中，相机一直是最常用的传感器。在实践中人们希望能在相机之外引入其他类型的传感器，从而能更全面地获取环境的信息。激光雷达可以直接得到三维信息，将扫描得到的三维点云和相机的RGB图像融合后能够进行信息的相互补充。我们可以利用激光雷达点云中的深度信息强化相机的二维RGB信息，反过来，也可以利用相机RGB信息中的色彩信息补充激光雷达点云的深度信息。因此，相机和激光雷达组成的多传感器系统成为了热门的研究方向之一。然而，要想有效地实现这种多传感器系统，我们有必要知道传感器之间的位置关系，这就是传感器标定。随着相关研究的深入，逐步出现了RGB图像与激光雷达点云的边缘特征匹配法和RGB图像三维重建点云与激光雷达点云的匹配法。这两种方法的特征都是确切的，物理意义比较明确。但明显的缺点是，特征的描述往往没有足够的区分性，这将导致匹配错误或失败，特别是在初始误差较大的情况下。本文档来自技高网...

【技术保护点】
1.一种基于端到端的相机与激光雷达标定方法，其特征在于，包括：/n步骤1：对相机RGB图像进行逐层特征提取；/n步骤2：对激光雷达点云数据进行逐层特征提取；/n步骤3：对提取的相机RGB图像特征和激光雷达点云数据特征进行融合；/n步骤4：基于融合后的特征进行逐层学习相应外参标定矩阵；/n步骤5：对每层的外参标定矩阵进行整合，得到最终的外参标定矩阵并进行标定。/n

【技术特征摘要】
1.一种基于端到端的相机与激光雷达标定方法，其特征在于，包括：
步骤1：对相机RGB图像进行逐层特征提取；
步骤2：对激光雷达点云数据进行逐层特征提取；
步骤3：对提取的相机RGB图像特征和激光雷达点云数据特征进行融合；
步骤4：基于融合后的特征进行逐层学习相应外参标定矩阵；
步骤5：对每层的外参标定矩阵进行整合，得到最终的外参标定矩阵并进行标定。


2.根据权利要求1所述的基于端到端的相机与激光雷达标定方法，其特征在于，所述步骤1包括：
对于输入的RGB图像，利用由多层卷积组成的RGB特征提取模块进行特征的提取，该RGB特征提取模块由三个不同卷积核大小的特征提取模块组成，依次提取不同尺度的特征；
三个特征提取模块的卷积核大小按特征提取的先后顺序排列，依次为11×11、5×5、3×3，分别得到第一尺度特征图RF1、第二尺度特征图RF2、第三尺度特征图RF3。


3.根据权利要求2所述的基于端到端的相机与激光雷达标定方法，其特征在于，所述步骤2包括：
通过PointNet++网络结构的特征提取网络进行激光雷达点云数据的特征提取，激光雷达点云数据首先输入采样层进行采样，确定出Ki个采样点Pi，接着通过分组层以这些采样点为中心点进行点集区域划分，在每个区域内使用多层感知机进行特征编码，最后通过汇聚层得到的每个区域的汇聚特征，即采样点的特征向量，记为LFi，得到Ki个激光雷达点及其特征(Pi，LFi)，其中：i表示由粗到细的层次，i＝(1,2,3)。


4.根据权利要求3所述的基于端到端的相机与激光雷达标定方法，其特征在于，所述步骤3包括：
步骤3.1：将步骤2获得Ki个激光雷达点Pi通过外参标定矩阵Hi和相机内参矩阵K投影到相机坐标系上，得到Ki个二维点组成的集合Ii，计算公式如下：



其中：Hi是上层学习到的外参标定矩阵，(u,v)是激光点云坐标投影得到的二维点组成的集合Ii的坐标；(X,Y,Z,1)是原始的三维激光点Pi的齐次坐标；Z为原始的三维激光点Pi的Z坐标；
步骤3.2：将步骤3.1获得的Ki个二维点组成的集合Ii作为图像特征RFi的Ki个中心点坐标进行激光雷达特征对应图像特征提取，得到二维坐标点及其特征(Ii，IFi)；
步骤3.3：对二维点组成的集合Ii通过相机内参矩阵K反投影到激光雷达坐标系下，得到三维图像点坐标及其特征(Pi，IFi)，公式如下：



步骤3.4：将激光雷达点云特征LFi和图像点云特征IFi拼接在一起，得到激光雷达点云特征和图像特征融合之后的特征RLFi。


5.根据权利要求4所述的基于端到端的相机与激光雷达标定方法，其特征在于，所述步骤3.2包括：
步骤3.2.1：在图像特征RFi上以二维点组成的集合Ii的Ki个点坐标作为中心点，采用圆查询方法，搜索半径内的所有点分成Ki个组，公式如下：






其中：(xi,yi)是中心点的坐标，(uj,vj)是除中心点外其他点的坐标，R为预先设定的半径阈值，Ωi-group是以二维点组成的集合Ii为中心点的图像特征集合；Dij表示点(xi,yi)到点(uj,vj)的距离；j表示除中心点外其他点的的标记；
步骤3.2.2：对得到的Ki个组进行特征提取，得到IFi，即为激光雷达特征对应的图像特征，公式如下：



其中：MLP为利用多层感知机进行特征编码，Ωj-group表示分组操作的结果。


6.根据权利要求5所述的基于端到端的相机与激光雷达标定方法，其特征在于，所述步骤4包括：
步骤4.1：将RLFi作为网络的输入，通过预测模块进行该层对应外参标定矩阵Hi-1的学习，该预测模块由特征匹配模块和全局回归模块组成，其中特征匹配模块由两个卷积层组成，全局回归模块由两个全连接层组成；
步骤4.2：将RLF3输入预测模块获得该层对应的外参标定矩阵H2，利用得到的外参标定矩阵H2代替初始化外参矩阵Hinit进行该层的特征融合，得到融合特征RLF2，将RLF2输入预测模块得到该层对应的外参标定矩阵H1，将外参标定矩阵H1作为外参标定矩阵进行特征融合，得到融合特征RLF1，将RLF1输入预测模块得到该层对应的外参标定矩阵H0。


7.根据权利要求6所述的基于端到端的相机与激光雷达标定方法，其特征在于，所述步骤5包括：将步骤4中得到的每层对应的外参标定矩阵Hi累乘，得到最终的外参标定矩阵H，公式如下：
H＝H0·H1·H2·Hinit
其中，H0、H1...

【专利技术属性】
技术研发人员：王贺升，任帅旗，郭延丰，王光明，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31