一种室内外通用的高精度实时测量方法技术

本发明专利技术涉及一种室内外通用的高精度实时测量方法，该方法基于激光雷达的视觉SLAM系统，即：捕获来自同步相机和激光雷达的数据，并将其处理成统一的RGB

【技术实现步骤摘要】
一种室内外通用的高精度实时测量方法


[0001]本专利技术涉及工程测量领域，具体涉及一种室内外通用的高精度实时测量方法。

技术介绍

[0002]工程施工过程需要测量很多参数，例如在建筑领域需要测量建筑占地面积和楼层高度等参数，传统的测量方式主要依靠人工完成，不仅劳动强度大、测量效率低、还无法保证测量精度和数据监测的实时性。随着无人机技术发展的日益成熟，将无人机引入工程测量领域实现高精度实时测量成为可能。通常在无人机上安装多种传感器进行参数采集，将采集的数据进行处理后可实现场景的构建，对构建出的场景运用相匹配的算法可计算出所求工程参数。
[0003]无人机测量主要由智能决策、环境感知和运动控制三个模块构成，其中环境感知是一切的基础。无人机感知环境需要一套性能强大的传感器来采集数据，同时需要相应的算法来处理分析数据，在环境感知模块中，视觉传感器是不可或缺的。
[0004]SLAM（Simultaneous Localization and Mapping）是指同步定位与地图构建，即：载有特定传感器的主体在没有先验信息的情况下，通过计算特定传感器获取图像帧来估计自身运动的轨迹，并建立周围环境的地图，被广泛应用于机器人、无人机、自动驾驶、增强现实、虚拟现实等领域。SLAM可分为激光SLAM和视觉SLAM，前者理论较为成熟很早就被应用于工程中，其采用激光雷达作为传感器可视范围广，但缺点是激光雷达智能感知的结构信息是二维信息，信息量较少且易丢失大量的环境信息，使其应用场景受到限制；虽然激光雷达点云的精度和范围优于其他深度相机，但纯激光雷达SLAM系统由于激光雷达不能提供像相机一样高的角度分辨率，因此它容易在隧道或走廊等不太突出的结构环境中出现故障，它还缺乏闭环检测，使得算法只关注局部精度，而没有全局姿态和地图优化；后者的感知信息源为相机图像，根据相机类型可分为单目SLAM、双目SLAM和RGB
‑
D SLAM，因视觉SLAM图像具有丰富信息，在21世纪得以快速发展。视觉SLAM有一个典型假设是场景固定，若有动态物体出现不仅影响相机位姿的估计而且在地图中留下残影，进而影响地图构建质量。并且，相机在高速运动情况下所捕捉的照片容易模糊，极大的影响了特征点的提取与匹配。若能将激光SLAM和视觉SLAM技术进行结合使用，利用相机的最佳角度分辨率和激光雷达的最佳深度及距离，则可以兼具两者的优点并互补各自的不足。
[0005]ORB
‑
SLAM是基于特征点的实时单目SLAM系统，该算法可以实时运行在狭小的室内环境和宽阔的室外环境中，对剧烈运动具有鲁棒性。ORB
‑
SLAM2是在ORB
‑
SLAM算法基础上发展起来的，还支持标定后的双目相机和RGB
‑
D相机，其精度更高，并能在标准CPU上实时工作。ORB
‑
SLAM2虽然支持双目相机和RGB
‑
D相机对深度估计的支持，但这两种相机都有缺点，特别是在估计具有长深度的室外物体时，双目相机需要长基线来进行精确的长深度估计，这在现实测量中通常不容易实现，此外双目相机之间的校准也容易受到机械变化的影响，致使深度估计精度降低；而RGB
‑
D相机在室外通常容易受到太阳光的影响，有效工作范围一般小于10米。
[0006]ORB
‑
SLAM2能够实现地图重用、回环检测和重新定位，其采用了光束优化法（BA，Bundle Adjustment），从视觉重建中提取出优化的3D模型和相机参数（内参数和外参数），从每一个特征点反射出来的几束光线，在我们把相机姿态和特征点空间位置做出最优的调整之后，最后收束到相机光心的过程。
[0007]ORB
‑
SLAM2系统优化在跟踪过程中相机的位姿，优化本地窗口的关键帧和局部地图的特征点，并且在回环检测之后优化所有的关键帧和特征点（全局BA）。ORB
‑
SLAM2系统主要包括四个线程：特征跟踪、局部建图、回环检测、BA优化，“特征跟踪”是通过寻找对局部地图的特征进行匹配，以及只运用BA算法来最小化重投影误差，进行跟踪和定位每帧的相机；“局部建图”是运用局部的BA算法设置局部地图并且优化；“回环检测”是通过执行位姿图的优化来更正累计漂移误差，在位姿优化之后执行全局BA算法，来计算整个系统最优结构和运动的结果；“BA优化”是优化所有的关键帧和特征点，输出优化后的定位结果。
[0008]本专利技术将ORB
‑
SLAM2系统引入建筑工程测量中实现室内外高精度的实时测量，但鉴于现有的ORB
‑
SLAM2系统仍存在一切不足，即：在光照突变、室外光照太强或太弱环境下，特征点提取鲁棒性较差；以及在动态环境下，如相机大角度转动时特征点丢失问题，或者在视野中有动态物体运动等复杂环境下对特征点提取存在影响。上述缺陷导致将现有ORB
‑
SLAM2系统用于建筑工程测量会影响测量精度和鲁棒性的问题，因此需要对现有ORB
‑
SLAM2系统进行改进，即解决室内外通用不受光照影响提高鲁棒性。

技术实现思路

[0009]本专利技术公开一种室内外通用的高精度实时测量方法，是将激光SLAM和视觉SLAM进行融合，提高测量精度和大规模建图的效率，并且可在室外强光下鲁棒地操作，通用性好。
[0010]为了实现上述目的，本专利技术所采用的技术方案为：一种室内外通用的高精度实时测量方法，包括如下内容：捕获安装于同一移动平台的RGB
‑
D相机及激光雷达各自采集的数据，所述移动平台为无人机或机器人，所述相机采集获得RGB图像数据，激光雷达采集获得不同时间戳下的原始数据点云，将不同时间戳下的每个原始数据点云通过惯性测量单元进行失真校正，求得从激光雷达坐标系到相机坐标系的变换矩阵，获得失真校正后激光雷达数据点云与相机RBG图像数据的对应关系，根据相机的外部校准参数投影到深度图像中，然后将RGB图像数据与深度图像组合处理成RGB
‑
D帧输出；将处理后的RGB
‑
D帧作为视觉SLAM系统的输入进行特征跟踪，特征跟踪输出的关键帧一方面进行局部建图，然后通过回环检测进行姿态图优化，回环检测后进行全局BA，一方面通过点云融合线程获得稠密点云，进而实现全局场景地图的构建；所述视觉SLAM系统需支持RGB
‑
D相机作为输入且能在CPU上实时运行；根据测量任务选择相应匹配的视觉算法，借助构建出的场景地图计算出所求的工程测量参数。
[0011]进一步，所述RGB图像数据与深度图像需被格式化为相等尺寸，且在像素方面对应。
[0012]进一步，所述移动平台处于静止且未触发人机交互状态时，相机和激光雷达的自动校准程序启动。
[0013]进一步，所述相机和激光雷达的自动校准方式如下：移动平台在静止状态下积累激光雷达一段时间内的扫描点，同时捕获相机采集图像，通过激光雷达点云与相机采集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内外通用的高精度实时测量方法，其特征在于包括如下内容：捕获安装于同一移动平台的RGB
‑
D相机及激光雷达各自采集的数据，所述移动平台为无人机或机器人，所述相机采集获得RGB图像数据，激光雷达采集获得不同时间戳下的原始数据点云，将不同时间戳下的每个原始数据点云通过惯性测量单元进行失真校正，求得从激光雷达坐标系到相机坐标系的变换矩阵，获得失真校正后激光雷达数据点云与相机RBG图像数据的对应关系，根据相机的外部校准参数投影到深度图像中，然后将RGB图像数据与深度图像组合处理成RGB
‑
D帧输出；将处理后的RGB
‑
D帧作为视觉SLAM系统的输入进行特征跟踪，特征跟踪输出的关键帧一方面进行局部建图，然后通过回环检测进行姿态图优化，回环检测后进行全局BA，一方面通过点云融合线程获得稠密点云，进而实现全局场景地图的构建；所述视觉SLAM系统需支持RGB
‑
D相机作为输入且能在CPU上实时运行；根据测量任务选择相应匹配的视觉算法，借助构建出的场景地图计算出所求的工程测量参数。2.根据权利要求1所述的一种室内外通用的高精度实时测量方法，其特征在于：所述RGB图像数据与深度图像需被格式化为相等尺寸，且在像素方面对应。3.根据权利要求1所述的一种室内外通用的高精度实时测量方法，其特征在于：所述移动平台处于静止且未触发人机交互状态时，相机和激光雷达的自动校准程序启动。4.根据权利要求3所述的一种室内外通用的高精度实时测量方法，其特征在于：所述相机和激光雷达的自动校准方式如下：移动平台在静止状态下积累激光雷达一段时间内的扫描点，同时捕获相机采集图像，通...

【专利技术属性】
技术研发人员：何煜，邓良波，卢宝莉，金祎涵，邓小强，
申请(专利权)人：邓良波，
类型：发明
国别省市：