一种面向越野环境的激光视觉融合SLAM方法技术

本发明专利技术提出一种面向越野环境的激光视觉融合SLAM系统。所述系统包括单目摄像机、激光雷达、视觉里程计、激光里程计、帧间位姿估计模块、建图模块、后端优化模块；所述视觉里程计包括特征提取单元、深度匹配单元、非线性优化求解器；所述激光里程计包括点云预处理单元、帧图匹配单元；所述后端优化模块包括回环检测单元和后端优化单元。本发明专利技术还提供一种用于所述面向越野环境的激光视觉融合SLAM系统的方法。面向越野环境的激光视觉融合SLAM系统的方法。面向越野环境的激光视觉融合SLAM系统的方法。

【技术实现步骤摘要】
一种面向越野环境的激光视觉融合SLAM方法


[0001]本专利技术涉及地面车辆的定位导航，具体而言，涉及一种面向越野环境的激光视觉融合SLAM方法。

技术介绍

[0002]无人地面平台的定位技术是保证无人车不发生偏离道路、不发生碰撞，实现稳定跟随轨迹的技术前提，现如今多数民用领域无人车都采用GPS全球定位、网络差分定位、惯性导航(IMU)组合等方式进行定位，但这些设备都必须在能够接收到GPS或北斗卫星信号的条件下才能正常运行。对于GPS信号易被遮挡和缺失时，需要无人地面平台依靠自身传感器进行定位，而由于惯导设备积分出的里程计信息会由于车轮打滑和传感器本身误差造成定位偏差的累积，因此定位还需要借助如视觉、激光雷达等传感器，因此SLAM(Simultaneous Localization And Mapping)技术应运而生，成为了无人平台
的一个研究重点。SLAM技术是指在进行定位的同时，利用传感器返回的数据同步建立周边环境地图，同时地图反过来对无人平台的定位进行辅助。
[0003]无人车在越野环境下建图时，工作在较大的范围内，由于车体运动，车载摄像机有很大的旋转和平移，同一空间在前后视图上的方向和尺度发生变化，地形起伏也导致了视差变化；由于摄像机位置改变，不同位置下光照条件不同，图像亮度会发生改变；另外，越野环境下道路与非道路的特征不明显，视觉传感器的不确定性和噪声可能造成前后几幅图像分割结果可能不尽一致。雷达能够获得较为精确且稳定的位置信息(距离、轮廓等)，图像传感器能够获得物体外表特征信息(颜色、纹理等)，依靠单纯的视觉或者激光进行SLAM并不能满足无人平台越野环境应用需求。
[0004]北京理工大学就越野环境下的感知识别做了一系列的工作，肖强采用极坐标栅格地图将车辆周围局部环境激光点云栅格化，对地面凸起正障碍物、负障碍、水体、坡面等多种环境要素进行了分析和提取，满足中等起伏越野环境低速安全行驶的要求。刘晓楠基于扩展卡尔曼滤波算法进行车辆运动估计，进而利用滤波结果将三维激光点云数据转换至局部水平坐标系下，以消除车辆颠簸以及车辆高度变化对激光点云数据的干扰。韩雨基于车载双目摄像机，研究在非结构化道路环境中无人车辆SLAM问题。并对SLAM后端利用图优化方法进行优化，有效减小在越野环境及有遮挡环境中的定位误差，优化SLAM定位结果。邵海燕提出了一种基于线结构光视觉系统的多传感器水障碍和凹凸障碍物的检测方法，实现了对车辆前方最远可到百米的障碍物全天时检测识别。周圣砚设计了一种具有自我监督学习能力的非结构化道路检测方法的框架，实现在没有人工干预的前提下，使智能车辆能够对未知环境下的非结构化道路进行自主学习并产生精确的检测结果。吉林大学李琳辉提出一种基于立体视觉传感器的越野环境感知方案，实时获取越野智能车辆前方的地形信息并有效检测出可能存在的障碍物。国防科技大学张小波针对越野环境下的地图创建问题，将车载摄像机获得的图像投影到车体坐标系，结合车辆行驶轨迹信息判定可通行区域，融合局部俯视图信息生成全局一致地图。
[0005]刘大学提出激光雷达和单目视觉的像素级融合方法，实现草丛检测；构造了激光雷达与单目视觉、立体图像融合算法，提高了越野环境下小障碍检测效率。中国科学技术大学袁雅薇、Yinglei Xu针对基于视觉的背景减除法进行运动目标检测中的“背景显露区域”误判问题和三维前景提取的不完整性问题，提出了一种特征层下的融合运动目标检测算法。以基于视觉分拣出的激光前景点为启发信息，进行二维图像邻域搜索下的三维距离约束的前景聚类，同时得到了二维图像前景图和三维空间前景点云。中国科学院大学肖月提出了基于图优化框架的RGB
‑
D视觉和二维激光雷达融合的SLAM方法。视觉前端进行特征提取和特征与地图之间的PnP匹配，激光前端采用相关性匹配的方法进行激光扫描匹配；后端统一采用图优化方法。大连理工大学徐来进提出了基于图像与点云角点配对的联合标定方法，将散乱的三维点云通过透视投影获得一副无畸变的点云反射值图像，然后分别提取该反射值图像与视觉图像的角点并建立匹配对，最后通过高斯牛顿迭代法求解联合标定参数。北京大学俞毓锋提出一种基于单目相机与单线摇摆激光雷达融合的定位算法，结合激光雷达的深度信息和图像的颜色纹理信息，重点解决在光照，地面起伏等因素影响下的机器人位姿估计问题，适用于小型低速轮式机器人野外环境下的定位。北京理工大学朱昊对于激光点云的特征提取，利用摄像机与激光测距雷达的空间配准方法，将激光点云投影到可见光图像中，提取激光点云的高度值作为区分道路及非道路的特征。实现了可见光图像与激光点云的决策级融合，实现非结构化道路场景中的道路及非道路的识别。叶春兰提出了较为完整的基于图像颜色与激光点云信息的智能车辆行驶环境三维重建系统的设计框架，通过采用多传感器数据融合技术和OpenGL三维显示技术，引入平面车辆运动学模型，结合车辆实时位姿信息和传感器获得的智能车辆行驶环境信息，实现对智能车辆行驶环境的三维重建。西安建筑科技大学贺利乐基于改进的RBPF算法研究激光雷达与双目视觉融合的移动机器人同步定位与地图构建；采用改进的RBPF算法，在计算提议分布时将移动机器人的观测数据与里程计信息融合。卡尔斯鲁厄理工大学Johannes Graeter的LIMO方法。通过把3D激光点云投影在图像平面上再估计出视觉特征的尺度，然后再做视觉里程计，而激光只是起到一个辅助的作用不进行基于激光点云匹配的位姿估计。卡耐基梅隆大学的Zhang Ji提出了的V
‑
LOAM算法，因为雷达的扫描频率低于相机获取图像的频率，因此在雷达扫描一圈的时间内首先进行视觉里程计估计相机的位姿，其次利用位姿进行激光点云的运动畸变矫正，再次通过相邻扫描间矫正后的激光点云进行匹配来估计出相对位姿，然后对视觉估计的位姿进行矫正，然后再通过校正后的位姿对雷达点云进行畸变矫正进行第二次矫正。最后把矫正后的点云映射到局部地图中，用于后续的位姿优化。尽管V
‑
LOAM已达到较为理想的效果，但由于未加入回环检测，该方案不可避免的存在定位精度和地图的一致性随运行时间增加而逐步下降的问题。在后续研究中，该团队又对传感器退化和剧烈运动两种情况下的运动估计进行了优化研究，提高了在线实时定位建图的鲁棒性和准确性,研究成果适用于越野环境。在最新的研究中，Zhang Ji进一步提出了雷达、视觉、惯导三者融合的方法。运用IMU进行运动评估，运用视觉和惯导耦合的方法评估运动和矫正点云，然后用扫描匹配的方法精炼运动评估，最后应用模型登记点建图。
[0006]综上，激光视觉融合SLAM技术已经成为研究的前沿和重点，但现有技术中存在的不足是明显的。
[0007](1)激光SLAM不擅长动态环境中的定位，也不擅长在类似的几何环境中工作。由于
重定位能力较差，激光SLAM在追踪丢失后很难重新回到工作状态。
[0008](2)视觉SLAM在无纹理环境，以及光照特别弱的环境中，表现较差。
[0009](3)现有的激光视觉SLAM算法，缺乏回环检测和后端优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向越野环境的激光视觉融合SLAM系统，包括：单目摄像机、激光雷达、视觉里程计、激光里程计、帧间位姿估计模块、建图模块、后端优化模块；其特征在于：所述激光雷达输出激光点云数据，所述单目摄像机输出视觉图像；所述视觉里程计包括特征提取单元、深度匹配单元、非线性优化求解器；所述激光里程计包括点云预处理单元、帧图匹配单元；所述特征提取单元采用Harris角点检测方法对所述视觉图像进行特征点提取，其将每帧图像中的Harris特征点送入所述深度匹配单元；所述深度匹配单元通过雷达—摄像机之间的坐标变换矩阵将所述激光点云数据转换到视觉坐标系下以获得具有深度信息的像素特征点，从而获得识别出的角点的深度值；所述帧图匹配单元与低频建图模块相连，所述非线性优化求解器与帧间位姿估计模块相连；所述低频建图模块通过所述后端优化模块生成高精点云地图。2.根据权利要求1所述的面向越野环境的激光视觉融合SLAM系统，其特征在于，所述后端优化模块包括回环检测单元和后端优化单元，当低频建图模块在建立地图时轨迹出现交叉重叠，则在回环检测单元内进行回环检测，以判断当前的路点与候选点云是否存在回环，如果存在回环，则在后端优化单元内进行优化，对回环内记录的车辆精准位姿进行调整。3.根据权利要求2所述的面向越野环境的激光视觉融合SLAM系统，其特征在于，所述后端优化单元把优化问题以图的形式来体现；图由端点与边组成，每一个回环上记录下来的车辆精准位姿是一个端点，相邻两个车辆精准位姿间的坐标变换则是连接这两个端点间的边；当未检测到回环时，每当车辆行驶超过一段距离就将最新的车辆精准位姿存入图中作为端点，将其与上一端点的变换矩阵作为边存入图中，依据匹配迭代次数为边添加误差范围；当回环检测模块检测到回环后，最新的端点同上一端点间存在边，也同历史轨迹中的某个端点构成了一条边，从而在图中形成了一个圈进行优化。4.根据权利要求2所述的面向越野环境的激光视觉融合SLAM系统，其特征在于，所述回环检测是基于距离进行的ICP匹配，所述ICP匹配在于：假设用Q
i
,i＝1,2,3,
…
Qi,i＝1,2,3,
…
表示第一个点集，P
i
,i＝1,2,3,
…
Pi,i＝1,2,3,
…
表示第二个点集；两个点集的对齐配准转换为使下列目标函数最小：其中，旋转矩阵R和平移矩阵T，就是找到的待配准点云数据与参考点云数据之间的旋转参数和平移参数，使得两点集数据之间满足距离度量准则下的最优匹配。5.根据权利要求1或2所述的面向越野环境的激光视觉融合SLAM系统，其特征在于，所述非线性优化求解器用来求得相邻两帧所述视觉图像之间的位姿变换矩阵，根据位姿变换矩阵可以将当前帧中的每个点云进行变换，依据得到的坐标变换公式，可将t+1时刻的角点转移到t时刻坐标系下从而可以代入距离计算...

【专利技术属性】
技术研发人员：张宇，邱绵浩，胡雪松，刘西侠，赵越，靳国超，卢方杰，宋海军，张旭东，郑壮壮，
申请(专利权)人：中国人民解放军陆军装甲兵学院，
类型：发明
国别省市：