一种用于低能见度大尺度场景的红外惯性组合导航方法技术

针对复杂气象条件下、大尺度场景下的同时定位与地图构建需求，本发明专利技术提出了一种用于低能见度大尺度场景的红外惯性组合导航方法。首先，采用了短波红外相机，以适应低能见度气象条件下场景探测。其次，采用了图像超分辨重建技术，解决了红外图像低分辨率的问题。再次，针对，本发明专利技术采用短波红外图像帧分组局部优化的方法，克服了帧间基线距离较短，大尺度场景下无法定位的问题。最后，设计视觉/惯性组合导航，获得高更新率、高精度的运动状态。本发明专利技术具有强鲁棒、低成本、高精度的特点。

【技术实现步骤摘要】
一种用于低能见度大尺度场景的红外惯性组合导航方法
本专利技术属于计算机视觉导航领域，具体涉及一种用于低能见度大尺度场景的红外惯性组合导航方法。
技术介绍
近年来，随着大数据技术、高性能计算技术、深度学习技术等新技术和新概念的涌现，使人工智能技术取得了瞩目进展，而无人机以其高机动性、高灵活性、强地形环境适应性等优势，已经成为未来无人化智能化战略体系建设的核心要素。目前无人运载体定位导航主要有惯性导航、全球卫星导航、无线电导航定位与航程推算、视觉导航等多种方法。惯性导航的精度高，但体积大、重量重、价格昂贵，限制了它的应用范围；全球卫星导航受卫星信号约束，自主性差、实时性差且在建筑物内部等场景下极易失效；无线电导航需要依赖地面站才能完成精准定位，同样受到很大的场景限制。而视觉导航的自主性、精确性、可视性和智能性等特性，以及对外界感知源的低依赖性，对各类型的复杂场景都具有良好通用性，因此备受无人系统自主导航领域的青睐。同时，伴随着视觉传感器技术、机器视觉技术和人工智能技术的不断进步，促使视觉导航技术迅速成为该领域研究热点。现有的视觉导航技术主要是针对室内、街区、道路等环境下的导航需要，例如多旋翼无人机或无人车的导航定位，还没有针对低能见度、大尺度场景下的无人运载体的同时定位与地图构建方法，如直升机在广域低空飞行过程中的视觉定位与地图构建。目前以可见光相机为主的单目视觉导航技术受限于传感器的探测能力，在低能见度气象条件下无法正常工作。红外成像可以探测到可见光之外波段的信息，不受昼夜和天气影响，具有较强的穿透能力。然而，红外图像先天具有低分辨率、非均匀性等不足，需要通过算法来弥补。同时，主流的SLAM技术均是基于微小型多旋翼无人机开发，由于受到原理上的限制，仅适用于小尺度空间的视觉定位与地图构建。为了满足大尺度场景下的视觉导航，需要从原理上进行改进。目前，佐治亚理工学院提出了一种多尺度的视觉里程计，在直接稀疏视觉里程计(DirectSparseOdometry,DSO)的基础上，将图像下采样，改变输入图像的尺度。但是在下采样过程中，图像的分辨率下降，直接影响到视觉定位精度。因此，面对低能见度、大尺度场景下的无人运载体自主导航需求，还需开展进一步研究。
技术实现思路
为解决上述问题，本专利技术提供了一种用于低能见度大尺度场景的红外惯性组合导航方法，采用的技术方案是：该用于低能见度大尺度场景的红外惯性组合导航方法，包括以下步骤：1】获取目标场景的短波红外图像及运载体惯性数据；2】对步骤1获取的短波红外图像进行图像预处理，提升短波红外图像的分辨率；3】对步骤2预处理后的图像采用图像帧分组局部优化的方法增大图像帧间距离；4】对步骤3处理所得的帧间距离增大后的图像与步骤1获取的运载体惯性数据进行融合，估计运载体的运动状态进行导航。优选的，步骤2具体是：2.1】对短波红外图像非均匀一致性进行校正；2.2】对校正后的短波红外图像进行超分辨率重建。其中步骤2.1优选方案具体是：采用基于定标的多点校正法、基于场景的卡尔曼滤波法、基于场景的时域高通滤波法或者基于场景的深度学习法对短波红外图像非均匀一致性进行校正。其中步骤2.2优选方案具体是：基于深度学习神经网络所获取的先验信息，以深度学习与传统稀疏编码之间的关系作为依据，将卷积神经网络分为图像块提取及表示、非线性映射和高分辨率图像重构三个阶段，再将这三个阶段统一到一个深度卷积神经网络框架中，实现由低分辨率图像到高分辨率图像之间的端到端学习，以此获取相应的高分辨率特征，为实现亚像素级匹配操作提供基础。其中步骤2.2中卷积神经网络的图像块提取及表示具体是：从初始的短波红外图像中进行特征提取，得到图像的特征图F1(Y)，表示为F1(Y)＝max(0,W1*Y+B1)；式中Y表示初始高分辨率图像，*表示卷积运算，W1为卷积核，B1为神经元偏置向量；步骤2.2中卷积神经网络的非线性映射具体是：非线性映射将特征向量从低分辨率空间变换至高分辨空间，过程表示为F2(Y)＝max(0,W2*F1(Y)+B2)，W2为卷积核，B2为神经元偏置向量；步骤2.2中卷积神经网络的高分辨率图像重构具体是：利用之前得到的基于块的输出特征图来生成最终的高分辨率图像，对整个网络的训练过程就是对网络中参数的估计和优化过程，通过最小化重构图像F(Y)和真实高分辨图像之间的误差得到网络参数的最优解过程表示为F(Y)＝W3*F2(Y)+B3。优选的，步骤3具体是：3.1】在两帧图像之间的几何约束、光度约束和语义约束下，建立滑动窗口内的重投影误差约束项、邻域内像素光度误差约束项和语义误差约束项；3.2】将重投影误差约束项、邻域内像素光度误差约束项和语义误差约束项之和定义为误差和函数；3.3】将滑动窗口内的关键帧按照固定间隔分成若干组，通过高斯牛顿迭代法计算每一组的误差和函数取得最小值时的解；在保证三角形测量精确的前提下，物距与基线相差不超过1个数量级；将滑动窗口内的关键帧按照固定间隔分成若干组，间隔关键帧之间基线距离明显大于相邻两关键帧之间的基线距离；先优化每一组，再各组共同优化；在每一组内，将滑动窗口内ORB特征点的误差和函数定义为其中，ηR、ηP和ηs分别为重投影误差约束项、邻域内像素光度误差约束项和语义误差约束项的权重系数，该系数将通过分析当前场景下的图像语义信息后确定；通过高斯牛顿迭代法计算每一组的误差和函数(5)取得最小值时的解；3.4】将各组误差和函数之和定义为视觉目标函数，通过高斯牛顿迭代法计算视觉目标函数取得最小值时的解：视觉目标函数定义为在各组关键帧优化完成后，再将各组同时优化，即通过高斯牛顿迭代法计算视觉目标函数(6)取得最小值时的解；在滑动窗口内利用多个关键帧信息估计相机运动相当于寻找式(7)取得最小值时的解，从而将相机运动状态估计转化为非线性优化问题，如式(8)所示采用高斯牛顿迭代法求解时需要计算以下矩阵其中，为权重矩阵，为残差矢量，为的雅克比矩阵。优选的，所述步骤3.1中所述的建立滑动窗口内的重投影误差约束项、邻域内像素光度误差约束项和语义误差约束项具体是：(a)重投影误差重投影误差是指图像中被观测点(xj,yj)T与其对应地图点反向投影在图像中的位置偏差，定义为其中Ti表示i帧图像在世界坐标系下的位置，Tj表示j帧图像在世界坐标系下的位置，K表示相机内部参数标定矩阵，π表示齐次坐标到笛卡尔坐标变换，d表示关键点的估计深度；(b)邻域内像素光度误差图像帧i上任意一点p∈Ωi在另外一帧图像j上的光度误差定义为其中，Np是p点周围邻域内的像素集合，Ii和Ij是相邻两帧图像，ti和tj是相邻两帧图像的曝光时间，ai、bi、a本文档来自技高网...

【技术保护点】
1.一种用于低能见度大尺度场景的红外惯性组合导航方法，其特征在于，包括以下步骤：/n1】获取目标场景的短波红外图像及运载体惯性数据；/n2】对步骤1获取的短波红外图像进行图像预处理，提升短波红外图像的分辨率；/n3】对步骤2预处理后的图像采用图像帧分组局部优化的方法增大图像帧间距离；/n4】对步骤3处理所得的帧间距离增大后的图像与步骤1获取的运载体惯性数据进行融合，估计运载体的运动状态进行导航。/n

【技术特征摘要】
1.一种用于低能见度大尺度场景的红外惯性组合导航方法，其特征在于，包括以下步骤：
1】获取目标场景的短波红外图像及运载体惯性数据；
2】对步骤1获取的短波红外图像进行图像预处理，提升短波红外图像的分辨率；
3】对步骤2预处理后的图像采用图像帧分组局部优化的方法增大图像帧间距离；
4】对步骤3处理所得的帧间距离增大后的图像与步骤1获取的运载体惯性数据进行融合，估计运载体的运动状态进行导航。


2.根据权利要求1所述的用于低能见度大尺度场景的红外惯性组合导航方法，其特征在于：
所述步骤2具体是：
2.1】对短波红外图像非均匀一致性进行校正；
2.2】对校正后的短波红外图像进行超分辨率重建。


3.根据权利要求2所述的用于低能见度大尺度场景的红外惯性组合导航方法，其特征在于：
所述步骤2.1具体是：
采用基于定标的多点校正法、基于场景的卡尔曼滤波法、基于场景的时域高通滤波法或者基于场景的深度学习法对短波红外图像非均匀一致性进行校正。


4.根据权利要求2所述的用于低能见度大尺度场景的红外惯性组合导航方法，其特征在于：
所述步骤2.2具体是：
基于深度学习神经网络所获取的先验信息，以深度学习与传统稀疏编码之间的关系作为依据，将卷积神经网络分为图像块提取及表示、非线性映射和高分辨率图像重构三个阶段，再将这三个阶段统一到一个深度卷积神经网络框架中，实现由低分辨率图像到高分辨率图像之间的端到端学习，以此获取相应的高分辨率特征，为实现亚像素级匹配操作提供基础。


5.根据权利要求4所述的用于低能见度大尺度场景的红外惯性组合导航方法，其特征在于：
所述步骤2.2中卷积神经网络的图像块提取及表示具体是：
从初始的短波红外图像中进行特征提取，得到图像的特征图F1(Y)，
表示为F1(Y)＝max(0,W1*Y+B1)；
式中Y表示初始高分辨率图像，*表示卷积运算，W1为卷积核，B1为神经元偏置向量；
步骤2.2中卷积神经网络的非线性映射具体是：
非线性映射将特征向量从低分辨率空间变换至高分辨空间，过程表示为
F2(Y)＝max(0,W2*F1(Y)+B2)，
W2为卷积核，B2为神经元偏置向量；
步骤2.2中卷积神经网络的高分辨率图像重构具体是：
利用之前得到的基于块的输出特征图来生成最终的高分辨率图像，对整个网络的训练过程就是对网络中参数的估计和优化过程，通过最小化重构图像F(Y)和真实高分辨图像之间的误差得到网络参数的最优解过程表示为
F(Y)＝W3*F2(Y)+B3。


6.根据权利要求1所述的用于低能见度大尺度场景的红外惯性组合导航方法，其特征在于：
所述步骤3具体是：
3.1】在两帧图像之间的几何约束、光度约束和语义约束下，建立滑动窗口内的重投影误差约束项、邻域内像素光度误差约束项和语义误差约束项；
3.2】将重投影误差约束项、邻域内像素光度误差约束项和语义误差约束项之和定义为误差和函数；
3.3】将滑动窗口内的关键帧按照固定间隔分成若干组，通过高斯牛顿迭代法计算每一组的误差和函数取得最小值时的解；
在保证三角形测量精确的前提下，物距与基线相差不超过1个数量级；将滑动窗口内的关键帧按照固定间隔分成若干组，间隔关键帧之间基线距离明显大于相邻两关键帧之间的基线距离；先优化每一组...

【专利技术属性】
技术研发人员：张磊，刘硕，文鹏程，
申请(专利权)人：中国航空工业集团公司西安航空计算技术研究所，
类型：发明
国别省市：陕西;61