一种单目热成像同时定位与建图方法和系统技术方案

本发明专利技术涉及一种单目热成像同时定位与建图方法和系统，该系统包括采集器和处理器，采集器采集不受非均匀性校正中断的热红外视频序列图像；处理器包括去噪模块、特征提取模块、初始化模块、特征跟踪模块、局部建图模块、回环检测模块。本发明专利技术提高了热红外图像的信噪比，确保热信息在不同环境中得到最大程度的保留，拓宽了视觉SLAM方法在热红外图像的使用边界；本发明专利技术还利用多种策略消除动态目标对SLAM系统的干扰，能够在复杂的动态环境中实现高鲁棒性，并展现了较高的定位精度。并展现了较高的定位精度。并展现了较高的定位精度。

【技术实现步骤摘要】
一种单目热成像同时定位与建图方法和系统


[0001]本专利技术涉及红外热成像领域，尤其是一种单目热成像同时定位与建图方法和系统。

技术介绍

[0002]虽然我国的北斗导航卫星导航系统已经日趋完备，但在室内、隧道、城市峡谷等地方或卫星信号受到干扰甚至拒止时，使用北斗系统的车辆以及无人车(或无人机)的定位和导航性能受到限制甚至丧失，因此，利用激光雷达获得的激光点云以及成像系统获得的图像信息进行定位和导航成为研究热点，分别被称为激光同时定位与建图(简称激光SLAM)和视觉同时定位与建图(简称视觉SLAM)。
[0003]目前，大量的视觉SLAM系统使用的成像探测器均为可见光成像探测器。与可见光成像系统相比，热成像系统(或红外热像仪)具有昼夜工作、不受眩光干扰、能够穿透烟尘、雾霾、小雨和小雪等优势。然而，与可见光图像相比，热红外图像具有无法克服的弱势，比如信噪比低、场景细节少、纹理特征弱、空间分辨力低(目前最先进的红外焦平面探测器的空间分辨力仅为百万像素，但是日常生活中如手机使用的可见光成像探测器的空间分辨力都是数千万像素，是红外焦平面探测器的几十倍甚至上百倍)，导致目前已有的热成像SLAM方法定位精度低。其次，热成像系统需要进行非均匀性校正，常见的非均匀性校正方法是使用挡板遮挡光路数秒，在动态环境中会造成数据丢失，从而严重影响定位的连贯性。
[0004]另外，传统SLAM会使用随机采样一致方法来消除由于动态目标导致的错误数据关联，但当动态目标占据整幅图像比例较大时，该方法会失效。还有一种方法是使用卷积神经网络(CNN)检测图像中所有可能的运动目标，并将他们全部删除，但这种方法也误删了一些静态目标。当把传统SLAM用于弱纹理的热红外图像时，可用于跟踪的特征较少，严重影响SLAM的效果。
[0005]因此，使用热成像系统进行视觉SLAM时面临诸多的技术困难，这也是红外SLAM没有广泛发展的原因。

技术实现思路

[0006]为解决这些问题，本专利技术在充分分析热红外图像低信噪比、弱纹理特性的基础上，提出了一种单目热成像同时定位建图方法和系统，可在视觉退化的动态环境中进行高精度和鲁棒的定位。
[0007]本专利技术的技术方案具体如下：
[0008]一种单目热成像同时定位与建图系统，包括采集器和处理器；处理器包括去噪模块、静态特征提取模块、初始化模块、特征跟踪模块、局部建图模块、回环检测模块；其中：
[0009]采集器采集不受非均匀性校正中断的热红外视频序列图像；
[0010]去噪模块对采集的热红外视频序列图像进行实时去噪；
[0011]静态特征提取模块分别提取图像中点特征的关键点和描述子以及线特征的关键
线段和描述子；使用目标检测神经网络进行物体检测，采用移动物体跟踪方法提高精度，使用实例分割方法减少边界框，实现移动物体的像素级分割，之后使用对极几何约束筛选出用于后续跟踪的静态特征；
[0012]初始化模块进行以下处理：依据静态特征提取模块中提取的静态点特征和静态线特征恢复相邻两帧的位姿；
[0013]特征跟踪模块进行如下处理：地图点和地图线跟踪；关键帧选择；
[0014]地图点和地图线跟踪中，依次使用帧间跟踪以及局部地图跟踪进行数据关联，更新当前帧位姿；
[0015]关键帧选择中，对于一帧热红外图像，与之具有最多共同观测的关键帧作为参考关键帧；
[0016]局部建图模块通过地图点和地图线的共视关系来更新关键帧之间的连接关系，并根据观测情况剔除质量较差的地图点和地图线；
[0017]回环检测模块使用基于图像外观的相似性来确定是否产生回环，使用点特征的描述子与线特征的描述子通过聚类离线训练基于热红外图像的词袋模型。
[0018]进一步地，实时场景去噪中：
[0019]首先对热红外图像执行基于场景的非均匀性校正；同时针对热红外图像在压缩转换中信息丢失时，使用自适应直方图均衡方法最大程度保留图像的原始信息；之后去除热红外图像的随机噪声。
[0020]进一步地，对于随机噪声，采用基于卷积神经网络的FFDNet对热红外图像进行去噪；
[0021]将原始图像重塑为多个下采样子图像，并将它们与可调节噪声等级图连接起来输入卷积神经网络中，执行卷积，最终生成与原始输入图像相同大小的去噪图像。
[0022]进一步地，进行线段特征提取时，将极短的无效线特征过滤；对被分割开的长线段进行连接；如果两个线段的长短和距离都非常接近，且方向差异足够小，对这样的线段则进行合并；使用描述子描述新线段，并增加几何约束去除可能存在的异常匹配，几何约束包括：
[0023](1)匹配线段对的长度差和角度差小于某个值；
[0024](2)匹配线段对的距离小于某个值；
[0025](3)匹配线段对的描述符距离小于某个值；
[0026]在移动物体跟踪方法中，被目标检测神经网络检测到的目标状态被定义为：
[0027][0028]其中，x,y表示被检测到的目标的中心坐标，a,p表示边界框的面积和宽高比，则表示下一帧预测目标的中心坐标与边界框的面积；通过卡尔曼滤波和匈牙利算法进行跟踪过程中目标的运动预测和数据关联，使用检测框的交并比距离计算代价矩阵。
[0029]进一步地，在对极几何约束中，判断热红外图像中先验目标区域中关键点的动态情况；如果在物体区域内有超过一定数量的动态关键点，则认为该物体是动态的：
[0030]首先，得到目标的检测和分割结果；其次，利用由粗到细的光流获得连续帧的关键点匹配结果；第三，利用在非目标区域内点最多的随机一致采样算法求解基矩阵，然后用基本矩阵计算极线，最后确定与极线距离大于阈值的关键点是移动的。
[0031]进一步地，初始化模块按以下方法进行处理：
[0032]对于一对平行3D线，其在采集器捕获的第一帧图像中的2D投影l1,l2相交于消失点l1×
l2，其归一化方向
[0033]类似的，其在采集器捕获的第二帧图像的2D投影m1,m2的消失点归一化方向另外，假设另一对平行3D线在第一帧图像和第二帧图像的2D投影的消失点归一化方向分别为v
p3
和v
p4
，那么，对于这两对平行3D线，两幅图像之间理想情况下的旋转矩阵满足如下公式：
[0034][0035]其中g1和g2是常量；基于以上公式，求解出在满足‖g1‖2+‖g2‖2最小的情况下的旋转矩阵R；
[0036]考虑使用点特征的检测器在第一幅图像检测出的两个特征二维点p1、p2，经过特征匹配确定它们在第二幅图像中对应于点q1、q2，实际的平移向量定义为：
[0037][0038]同时并行使用ORB
‑
SLAM2中的初始化方法，并在初始化方法中使用随机采样一致性方法对点对和线对进行采样来选取最佳结果。
[0039]进一步地，地图点和地图线跟踪中，首先，假设系统匀速运动，通过相邻的帧间投影匹配关系进行位姿估计；将地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单目热成像同时定位与建图系统，其特征在于：包括采集器和处理器；处理器包括去噪模块、静态特征提取模块、初始化模块、特征跟踪模块、局部建图模块、回环检测模块；其中：采集器采集不受非均匀性校正中断的热红外视频序列图像；去噪模块对采集的热红外视频序列图像进行实时去噪；静态特征提取模块分别提取图像中点特征的关键点和描述子以及线特征的关键线段和描述子；使用目标检测神经网络进行物体检测，采用移动物体跟踪方法提高精度，使用实例分割方法减少边界框，实现移动物体的像素级分割，之后使用对极几何约束筛选出用于后续跟踪的静态特征；初始化模块进行以下处理：依据静态特征提取模块中提取的静态点特征和静态线特征恢复相邻两帧的位姿；特征跟踪模块进行如下处理：地图点和地图线跟踪；关键帧选择；地图点和地图线跟踪中，依次使用帧间跟踪以及局部地图跟踪进行数据关联，更新当前帧位姿；关键帧选择中，对于一帧热红外图像，与之具有最多共同观测的关键帧作为参考关键帧；局部建图模块通过地图点和地图线的共视关系来更新关键帧之间的连接关系，并根据观测情况剔除质量较差的地图点和地图线；回环检测模块使用基于图像外观的相似性来确定是否产生回环，使用点特征的描述子与线特征的描述子通过聚类离线训练基于热红外图像的词袋模型。2.根据权利要求1所述的系统，其特征在于：实时场景去噪中：首先对热红外图像执行基于场景的非均匀性校正；同时针对热红外图像在压缩转换中信息丢失时，使用自适应直方图均衡方法最大程度保留图像的原始信息；之后去除热红外图像的随机噪声。3.根据权利要求2所述的系统，其特征在于：对于随机噪声，采用基于卷积神经网络的FFDNet对热红外图像进行去噪；将原始图像重塑为多个下采样子图像，并将它们与可调节噪声等级图连接起来输入卷积神经网络中，执行卷积，最终生成与原始输入图像相同大小的去噪图像。4.根据权利要求1所述的系统，其特征在于：进行线段特征提取时，将极短的无效线特征过滤；对被分割开的长线段进行连接；如果两个线段的长短和距离都非常接近，且方向差异足够小，对这样的线段则进行合并；使用描述子描述新线段，并增加几何约束去除可能存在的异常匹配，几何约束包括：(1)匹配线段对的长度差和角度差小于某个值；(2)匹配线段对的距离小于某个值；(3)匹配线段对的描述符距离小于某个值；在移动物体跟踪方法中，被目标检测神经网络检测到的目标状态被定义为：其中，x,y表示被检测到的目标的中心坐标，a,p表示边界框的面积和宽高比，则
表示下一帧预测目标的中心坐标与边界框的面积；通过卡尔曼滤波和匈牙利算法进行跟踪过程中目标的运动预测和数据关联，使用检测框的交并比距离计算代价矩阵。5.根据权利要求1所述的系统，其特征在于：在对极几何约束中，判断热红外图像中先验目标区域中关键点的动态情况；如果在物体区域内有超过一定数量的动态关键点，则认为该物体是动态的：首先，得到目标的检测和分割结果；其次，利用由粗到细的光流获得连续帧的关键点匹配结果；第三，利用在非目标区域内点最多的随机一致采样算法求解基矩阵，然后用基本矩阵计算极线，最后确定与极线距离大于阈值的关键点是移动的。6.根据权利要求1所述的系统，其特征在于：初始化模块按以下方法进行处理：对于一对平行3D线，其在采集器捕获的第一帧图像中的2D投影l1,l2相交于消失点l1×
l2，其归一化方向类似的，其在采集器捕获的第二帧图像的2D投影m1,m2的消失点归一化方向另外，假设另一对平行3D线在第一帧图像和第二帧图像的2D投影的消失点归一化方向分别为v
p3
和v
p4
，那么，对于这两对平行3D线，两幅图像之间理想情况下的旋转矩阵满足如下公式：其中g1和g2是常量；基于以上公式，求解出在满足‖g1‖2+‖g2‖2最小的情况下的旋转矩阵R；考虑使用点特征的检测器在第一幅图像检测出的两个特征二维点p1、p2，经过特征匹配确定它们在第二幅图像中对应于点q1、q2，实际的平移向量定义为：同时并行使用ORB
‑
SLAM2中的初始化方法，并在初始化方法中使用随机采样一致性方法对点对和线对进行采样来选取最佳结果。7.根据权利要求1所述的系统，其特征在于：地图点和地...

【专利技术属性】
技术研发人员：王岭雪，吴昱臻，张廉，白宇，蔡毅，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：