【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体可用于古文物建筑重建、工业厂房重建等。
技术介绍
1、三维重建技术是指利用相机的图像信息或雷达的点云信息来实现对真实世界的数字三维建模技术。生成的数字模型可用于后续的运动仿真以及现在流行的虚拟现实技术中。常见的重建方法是只使用相机进行重建或只使用雷达进行重建，这两种重建方法均存在问题，相机视角小且估计深度不准确在重建效率和精度方面均存在问题。仅使用雷达进行重建缺点在于只有深度信息，没有物体的表面颜色信息。近年来随着rgbd相机的流行，三维重建的方法结合了深度和颜色信息进行重建，但该种结合重建使用了单个相机和单个雷达结合的方法进行三维重建，该种结合方式进行单次扫描场景范围小、以及存在重建效率低的缺陷，因此以上问题亟需解决。
技术实现思路
1、本专利技术目的是为了解决现有技术中单个相机与单个雷达结合的三维重建方法存在单次扫描场景范围小、以及重建效率低的问题；本专利技术提供了激光雷达和多相机数据融合的三维场景重建方法，具体包括两种方法，一种方法是利用单激光雷达与多个相机实现，另一种方法是利用两个激光雷达与多个相机实现。
2、(一)第一种方案：
3、单激光雷达和多相机数据融合的三维场景重建方法，该方法包括如下过程：
4、将单激光雷达固定在旋转平台上，该旋转平台和多相机固定在同一云台上，多相机的采集角度不同；
5、对激光雷达与每个相机间进行标定，得到激光雷达与各相机间的最优外参矩阵；
6、将待测三维场景
7、利用激光雷达和所有相机对待测三维场景中每一个扫描区域进行扫描及数据融合，得到各扫描区域所对应的子图，将所有子图进行数据融合，完成三维场景重建；
8、其中，得到当前扫描区域所对应的子图的具体过程，包括如下步骤：
9、s1、旋转平台带动激光雷达运动、云台带动所有相机运动，对当前扫描区域进行扫描，当前扫描过程中激光雷达采集到多帧云数据、每个相机采集到多帧图像；
10、s2、将当前扫描过程中得到的每一帧点云数据转化至第一帧点云数据所在的激光雷达坐标系下的第一帧点云数据内，剔除第一帧点云数据中重复点，得到修正后第一帧点云数据；
11、将当前扫描过程中各相机采集到多帧图像，转化至该相机的第一帧图像所在相机坐标系下的第一帧图像内，剔除第一帧图像中重复点，得到每个相机所对应的修正后第一帧图像；
12、s3、通过激光雷达与各相机间的最优外参矩阵，将修正后第一帧点云数据变换到当前相机坐标系下，再利用当前相机的内参矩阵变换到像素坐标下，从而得到修正后第一帧点云数据中的点在当前相机所对应像素坐标下的位置信息；
13、s4、根据修正后第一帧点云数据中的点在相应相机所对应像素坐标下的位置信息，从所对应的相机的第一帧图像中提取颜色，并将提取的颜色赋予修正后第一帧点云数据中的相应点，得到当前扫描区域所对应的具有颜色信息的第一帧点云数据，并将其作为子图。
14、优选的是，s2、将当前扫描过程中得到的每一帧点云数据转化至第一帧点云数据所在的激光雷达坐标系下的第一帧点云数据内的具体过程包括：
15、当前扫描过程中，根据旋转平台和云台的运动模型在每一帧点云数据与第一帧点云数据间的旋转角度，得到每一帧点云数据所在激光雷达坐标系与第一帧点云数据所在激光雷达坐标系间的旋转矩阵；
16、将每一帧点云数据左乘对应的旋转矩阵，从而将该帧点云数据转化至第一帧点云数据所在的激光雷达坐标系下的第一帧点云数据内；
17、s2、将当前扫描过程中各相机采集到多帧图像，转化至该相机的第一帧图像所在相机坐标系下的第一帧图像内的具体过程包括：
18、当前扫描过程中，根据云台的运动模型在每一帧图像与第一帧图像间的旋转角度，得到每一帧图像所在相机坐标系与第一帧图像所在相机坐标系间的旋转矩阵；
19、将每一帧图像左乘对应的旋转矩阵，从而将该帧图像转化至第一帧图像所在的相机坐标下的第一帧图像内。
20、优选的是，所有子图进行数据融合采用gicp算法实现。
21、优选的是，对激光雷达与每个相机间进行标定，得到激光雷达与各相机间的最优外参矩阵的具体过程包括粗定位过程和精定位过程；
22、粗定位过程，用于获取相机到激光雷达的初始外参矩阵；
23、精定位过程，用于对初始外参矩阵进行矫正，得到最优外参矩阵。
24、优选的是，粗定位过程包括：
25、a1、获取各采集时刻下点云数据和图像：调整各采集时刻下多边形物体的位置，并在各采集时刻下使激光雷达和当前相机在同一视角下对多边形物体进行数据采集，得到各采集时刻下分别所对应的点云数据和图像；
26、a2、获取平面数据和多边形区域的像素范围：对各采集时刻下的点云数据进行数据提取，得到平面数据；以及选定该采集时刻下的图像中多边形物体各顶点的像素坐标，得到各顶点的像素坐标合围成的多边形区域内每个像素点的像素坐标；
27、a3、坐标变换：历遍多边形区域内每个像素，利用相机的内参矩阵把多边形区域内所有像素坐标转化为相机坐标系下，再根据给定的预设外参矩阵将相机坐标系下的多边形区域内各像素点的像素坐标转化至激光雷达坐标系下，得到多边形区域内各像素点在激光雷达坐标系下位置信息；
28、a4、构造第一总残差函数：根据各采集时刻下图像所对应的激光雷达坐标系下多边形区域内各位置信息和点云数据，构造点到平面的距离残差函数；根据各采集时刻下构造的点到平面的距离残差函数进行叠加，得到第一总残差函数；
29、a5、获取初始外参矩阵：将给定的预设外参矩阵作为高斯牛顿迭代法的初始值，求解第一总残差函数，得到相机到激光雷达的初始外参矩阵；
30、精定位过程包括：
31、b1、获取稠密点云和图像：
32、根据激光雷达和相机的当前位置，使激光雷达和相机同步运动对具有边线信息的场景进行扫描实现数据采集，运动过程中使激光雷达朝同一个方向运动；
33、利用同步定位与建图算法a-loam对激光雷达运动过程中采集的点云数据进行处理得到稠密点云，同时，保留运动过程中相机采集的最后一张图像；
34、b2、2d图像边缘提取：使用边缘特征算法提取所保留图像的边缘特征，得到2d图像边缘；
35、b3、坐标变换：历遍2d图像边缘上所有像素点的像素坐标，利用相机的内参矩阵把2d图像边缘上所有像素点的像素坐标转化为相机坐标系下，再根据步骤a5得到初始外参矩阵将相机坐标系下的2d图像边缘上所有像素点的像素坐标转化至激光雷达坐标系下，得到2d图像边缘上所有像素点在激光雷达坐标系下位置信息；
36、b4、3d点云边缘提取：将激光雷达坐标系下提取的稠密点云进行体素化，提取稠密点云中平面，两两相交的平面边线作为3d点云边缘；
本文档来自技高网...
【技术保护点】
1.单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，该方法包括如下过程：
2.根据权利要求1所述的单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，S2、将当前扫描过程中得到的每一帧点云数据转化至第一帧点云数据所在的激光雷达坐标系下的第一帧点云数据内的具体过程包括：
3.根据权利要求1所述的单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，所有子图进行数据融合采用GICP算法实现。
4.根据权利要求1所述的单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，对激光雷达与每个相机间进行标定，得到激光雷达与各相机间的最优外参矩阵的具体过程包括粗定位过程和精定位过程；
5.根据权利要求4所述的单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，粗定位过程包括：
6.多激光雷达和多相机数据融合的三维场景重建方法，其特征在于，该方法包括如下过程：
7.根据权利要求6所述的多激光雷达和多相机数据融合的三维场景重建方法，其特征在于，对两个激光雷达进行标定，得到两个激光雷达间外参矩阵的具
8.根据权利要求6所述的多激光雷达和多相机数据融合的三维场景重建方法，其特征在于，对激光雷达与每个相机间进行标定，得到激光雷达与各相机间的最优外参矩阵的具体过程包括粗定位过程和精定位过程；
9.根据权利要求8所述的多激光雷达和多相机数据融合的三维场景重建方法，其特征在于，粗定位过程包括：
10.根据权利要求6所述的多激光雷达和多相机数据融合的三维场景重建方法，其特征在于，S2、将当前扫描过程中得到的每一帧点云数据转化至第一帧点云数据所在的激光雷达坐标系下的第一帧点云数据内的具体过程包括：
...【技术特征摘要】
1.单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，该方法包括如下过程：
2.根据权利要求1所述的单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，s2、将当前扫描过程中得到的每一帧点云数据转化至第一帧点云数据所在的激光雷达坐标系下的第一帧点云数据内的具体过程包括：
3.根据权利要求1所述的单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，所有子图进行数据融合采用gicp算法实现。
4.根据权利要求1所述的单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，对激光雷达与每个相机间进行标定，得到激光雷达与各相机间的最优外参矩阵的具体过程包括粗定位过程和精定位过程；
5.根据权利要求4所述的单激光雷达和多相机数据融合的三维场景重建方法，其特征在于，粗定位过程包括：
6.多...
【专利技术属性】
技术研发人员：王珂，范君国，孙祺淏，许润泽，
申请(专利权)人：哈工大郑州研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。