一种基于深度学习的视觉/惯性组合导航方法技术

本发明专利技术属于无人机视觉/惯性组合导航领域，提出了一种基于深度学习的视觉/惯性组合导航方法。该方法利用Mask R

【技术实现步骤摘要】
一种基于深度学习的视觉/惯性组合导航方法


[0001]本专利技术属于无人机组合导航
，具体涉及一种基于深度学习的视觉/惯性组合导航方法。

技术介绍

[0002]无人机惯性导航系统靠惯性器件提供的导航参数自主地完成导航任务，与外界不发生任何联系，具有数据更新频率完全依快、导航数据输出连续、抗干扰性强，可同时提供载体的位置、速度和姿态参数等优点。但是惯性导航系统的精度随时间的延长而不断降低，即由于器件误差使导航误差随时间增加而发散。视觉导航在低动态运动中具有很高的估计精度，且引入视觉闭环矫正可以极大地抑制组合导航误差，惯性器件和视觉器件具有很好的互补性，两者的组合可以更好地估计导航参数。
[0003]随着计算机算力的提高，视觉导航处理图像的速度也逐渐加快；但是摄像机的成像受光线条件限制较大，进而影响里程计算法识别与匹配特征点。本专利技术通过引入深度学习的方式预处理相机输出图像能够有效减少非结构化特征识别，增强了图像识别效率。
[0004]有益效果
[0005]此专利技术针对视觉里程计在进行特征点提取、匹配时受到算法限制的问题，设计了一种基于深度学习的视觉/惯性组合导航方法，以Mask R
‑
CNN深度学习网络预处理机载相机输出图像，减少了非结构化特征的提取与追踪，提高了图像识别效率。同时针对滤波器中存在噪声难以抑制问题，采用集中式容错卡尔曼滤波通过调节量测信息权重抑制噪声，增强了系统的鲁棒性和精确性。

技术实现思路

[0006]1、专利技术目的
[0007]本专利技术的目的是为了解决现有的视觉/惯性组合导航中视觉里程计对图像特征信息识别误差较大，易受系统噪声影响等问题，提出一种基于深度学习的视觉/惯性组合导航方法，提高系统的导航精度和鲁棒性。
[0008]2、技术方案
[0009]步骤一：视觉导航部分，视觉里程计获取图像采用Mask R
‑
CNN深度学习网络对图像进行预处理；
[0010]步骤1
‑
1采用Mask R
‑
CNN深度学习神经网络的方式对图像进行预处理；
[0011]其中Mask R
‑
CNN主要由3部分组成：特征提取、区域建议和区域预测。选用特征金字塔网络FPN与残差神经网络ResNet101结合作为骨干特征提取网络；
[0012]步骤1
‑
2在区域建议中，Mask R
‑
CNN主要应用了一个区域建议网络RPN来获得兴趣区域；RPN的核心组件是各种各样称之为锚点的候选窗口。每个锚点的位置由其中心点决定，并且其大小不一。锚点区域由一个卷积层被映射为一个512维的向量，该向量有分别进入2个1
×
1的卷积层，一个分支用来进行区域回归，另一个分支用来进行区域分类。分类分
支通过计算锚点区域与真实目标的交并比来评估该锚点的准确性。
[0013]步骤1
‑
3获得兴趣区域后，注意到兴趣区域的大小并不一致，需要进行一次池化操作，将这些区域转化为相同维度以进行进一步的分类和边界框回归；Mask R
‑
CNN使用ROI Align的新池化方法。在传统的直接池化方法中，2次量化之后候选框的位置将会出现偏移，而ROI Align使用双线性内插法来获得坐标为浮点数的像素的值可以避免候选框偏移的现象；
[0014]步骤1
‑
4经过池化后，候选区域的特征图被用来进行检测和分割。这些特征图会经过两个分支，一个分支通过串联的全连接网络进行目标检测，另一个分支经由一个全卷积网络来产生掩膜并实例分割。检测分支的特征图经过一个卷积层和全连接层被映射为特征向量，分别通过一个全连接层进行区域分类和区域回归。
[0015]步骤二：视觉导航部分，姿态信息求解；
[0016]无人机在运动中摄像机拍了n幅图像，在导航环境中有多个特征，通过特征匹配算法建立特征之间的匹配对应关系。在k时刻通过双目摄相机采集到的图像集表示为I
′1×
n
＝{I
′1，
···
I
′
n
}和I1×
n
＝{I1，
···
I
n
}，在立体视觉系统中一般左相机为原点。两个相机位姿在临近时刻k，k
‑
1形成一个刚性变换T
k,k
‑1∈R4×4，记为：
[0017][0018]其中，R
k,k
‑1是旋转矩阵，t
k.k
‑1是平移矩阵，集合T1×
n
包含所有运动序列。最后相机位姿集C1×
n
表示在k时刻初始坐标。当前位姿C
n
能通过计算所有变换T
k
之间的联系得到本质矩阵，进而计算相机坐标系的姿态变化和位移变化量。
[0019]步骤三：惯性导航部分，IMU预积分；
[0020]步骤3
‑
1首先建立IMU模型。
[0021]步骤3
‑
2预积分测量值，其中包括旋转量、速度增量、位置增量。
[0022]步骤3
‑
3预积分测量噪声，对预积分的测量值噪声进行分析。
[0023]步骤四：惯性导航部分，速度位置信息求解；
[0024]步骤4
‑
1姿态更新算法，首先经过初始对准得到载体的初始姿态四元数和初始姿态方向余弦矩阵；再根据双子样算法的等效旋转矢量表达式计算等效旋转矢量；最后通过旋转四元数更新姿态。
[0025]步骤4
‑
2速度更新算法，无人机速度信息可以根据加速度计输出比力获得，在不考虑旋转效应补偿和划桨效应补偿的情况下，通过对加速度方程进行积分得到t
m
时刻无人机在导航坐标系下的速度信息。
[0026]步骤4
‑
3位置更新算法，在较短的位置结算周期下，假设速度不变，并忽略旋转效应补偿与涡卷效应补偿，通过对速度方程进行积分来得到无人机位置信息。
[0027]步骤五：根据视觉导航系统部分和惯性导航系统部分得到的航姿参数采用集中式容错卡尔曼滤波进行信息融合，并对视觉里程计和IMU原数据进行修正优化，最后得到航姿参数的最优估计值；
[0028]步骤5
‑
1对组合导航系统的动力学模型进行离散化处理，并作为观测模型，根据抗差估计原则构造量测信息质量评估函数，可得到集中式容错卡尔曼滤波的递推方程。
[0029]步骤5
‑
2将滤波器得到的最优误差估计值反馈给IMU和视觉里程计，进行实时数据
修正来提高导航系统的定位精度和系统稳定性。
附图说明
[0030]图1视觉/惯性组合导航参考坐标系；
[0031]图2神经网络Mask R
‑
CNN结构图；
[0032]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的视觉/惯性组合导航方法，在进行导航过程之前首先进行坐标系定义及建立系统运动状态方程及观测方程，其特征在于：所述方法具体过程为：步骤一：视觉导航部分，视觉里程计获取图像采用Mask R
‑
CNN深度学习网络对图像进行预处理；步骤二：视觉导航部分，姿态信息求解；无人机在运动中摄像机拍了n幅图像，在导航环境中有多个特征。通过特征匹配算法建立特征之间的匹配对应关系，视觉里程计算法可以得到两幅图像的本质矩阵，进而计算出相机坐标系的姿态变化量和位移变化量。步骤三：惯性导航部分，IMU预积分；步骤四：惯性导航部分，速度位置信息求解；步骤五：根据视觉导航系统部分和惯性导航系统部分得到的航姿参数采用集中式容错卡尔曼滤波进行信息融合，并对视觉里程计和IMU原数据进行修正优化，最后得到航姿参数的最优估计值。2.根据权利要求1所述的一种基于深度学习的视觉/惯性组合导航方法，其特征在于：所述步骤一具体过程为：步骤1
‑
1选用特征金字塔网络FPN与残差神经网络ResNet101结合作为Mask R
‑
CNN骨干特征提取网络，来提升网络性能，以便于更好地提取图像多尺度特征。步骤1
‑
2区域建议，Mask R
‑
CNN采用一个区域建议网络RPN来获得兴趣区域。步骤1
‑
3获得兴趣区域，进行一次池化操作将这些区域转化为相同维度以进行进一步的分类和边界框回归。步骤1
‑
4经过池化后，候选区域的特征图被用来进行检测和分割。这些特征图会经过两个分支，一个分支通过串联的全连接网络进行目标检测，另一个分支经由一个全卷积网络来产生掩膜并实例分割。检测分支的特征图经过一个卷积层和全连接层被映射为特征向量，分别通过一个全连接层进行区域分类和区域回归。3.根据权利要...

【专利技术属性】
技术研发人员：李麒麟，刘彩云，栾添添，孙明晓，佟海艳，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：