融合多传感器信息的视觉临场感环境构建方法技术

本发明专利技术提出融合多传感器信息的视觉临场感环境构建方法，能够精准地对现场环境实时建图，增强图像的视觉感受，为室外环境中作业的器人提供具有丰富视觉信息的三维彩色点云地图，帮助远端操纵人员判断现场环境。本发明专利技术基于因子图的方式对帧间位姿进行优化，考虑了IMU预积分因子、雷达里程计因子、回环优化因子和GPS因子对帧间位姿的影响，以实现更准确的点云配准。本发明专利技术可以根据二维图像和三维点云的逐帧配准，叠加形成彩色三维点云地图，包含更丰富的视觉信息，视觉临场感更强。视觉临场感更强。视觉临场感更强。

【技术实现步骤摘要】
融合多传感器信息的视觉临场感环境构建方法


[0001]本专利技术涉及建图
，具体涉及融合多传感器信息的视觉临场感环境构建方法。

技术介绍

[0002]当前，机器人已被广泛应用于探测及救灾场景。待探测环境或灾后现场的地形复杂，且包含很多障碍物，需要具备精确的环境建模能力以及准确的自定位能力，才能准确构建现场视觉临场感环境。人在感知现场环境后，可以在远端操纵机器人完成相关作业。
[0003]现有技术通常采用激光雷达进行点云建图，依据点云分布的轮廓判断实际现场环境。激光雷达能够提供精确的深度信息，但在山地、洞穴等地形严峻复杂的环境区域容易误识别，这是因为这些环境区域中密集分布着树木、石块等外形轮廓不清晰、不规则的物体，仅依靠点云建图无法提取准确的外轮廓。此外也可以采用相机或GPS进行点云建图。相机能够提供丰富的色彩及纹理信息，也可以定位，但在室外环境下的定位精度低。GPS在室外环境下的定位精度高且实时性好，但当地面存在遮蔽区域时，GPS的定位精度就会大幅降低。基于复杂的使用场景和现有技术的不足，目前需要一种精确度较高的视觉临场感构建方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.融合多传感器信息的视觉临场感环境构建方法，其特征在于，步骤包括：S1、在机器人上安装传感器组和GPS，逐帧获取环境的三维点云和二维图像；所述传感器组包括雷达、相机和IMU；S2、根据IMU的测量数据对机器人的状态信息进行预估计，状态信息包括速度和位姿；筛选位姿变化大于阈值的帧作为关键帧，采用预积分方法得到机器人在关键帧之间的运动约束，该运动约束为IMU预积分因子；S3、提取各关键帧下的三维点云的特征点进行匹配，得到相邻关键帧的三维点云的帧间位姿约束和局部特征地图，该帧间位姿约束为雷达里程计因子；S4、GPS获取机器人的位置约束，该位置约束为GPS因子；S5、以雷达里程计因子为约束条件，回环优化帧间位姿，该帧间位姿为回环优化因子；S6、以S2～S6得到的因子及局部特征地图作为观测信息约束，以状态信息作为状态节点建立因子图以得到最优位姿；S7、根据最优位姿叠加彩色三维点云，形成彩色三维点云地图。2.如权利要求1所述的方法，其特征在于，S1的具体方式为：相机和IMU固定在传感器组的安装盒内，雷达固定在安装盒上，安装盒固定在机器人上；GPS固定在机器人内，GPS的两个天线分别指向机器人内的前后两侧；相机和雷达跟随机器人在真实环境中运动并进行拍摄与逐帧扫描，获取真实环境的二维图像和三维点云；同时，IMU实时测量机器人的加速度、角速度和位置，组成测量数据；GPS对机器人进行实时定位。3.如权利要求1所述的方法，其特征在于，S3的具体方式为：S3
‑
1、采用滑动窗口法选择当前关键帧k+1的前n个关键帧，提取当前关键帧k+1时采集的三维点云的边缘特征点和平面特征点，分别计算边缘特征点与前n个关键帧的边缘特征点组成的局部边缘特征地图的边缘线距离d
es
，及平面特征点与前n个关键帧的平面特征点组成的局部平面特征地图的平面距离d
ps
，得到三维点云在关键帧k与当前关键帧k+1之间的帧间位姿；构建帧间位姿约束，作为雷达里程计因子；S3
‑
2、根据S2得到的机器人在两个关键帧之间的状态约束，计算机器人的帧间位姿，将S3
‑
1得到的特征点与和匹配，得到当前关键帧k+1对应的局部地图；根据S3
‑
1得到的三维点云的帧间位姿，将局部地图变换到初始点云坐标系下，更新局部地图，完成当前关键帧k+1时的点云配准；更新下一关键帧为当前关键帧，重复S3
‑
1和...

【专利技术属性】
技术研发人员：李静，于点，王军政，赵江波，汪首坤，马立玲，沈伟，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：