基于视觉与惯性导航信息融合神经网络的无人机高度估算方法技术

本发明专利技术公开了基于视觉与惯性导航信息融合神经网络的无人机高度估算方法，属于图像信息处理领域。本发明专利技术的基于视觉与惯性导航信息融合神经网络的无人机高度估算方法，基于物理学原理与对视觉和惯性测量传感器采集的数据信息来建立理想高度物理模型，建立该模型的其目的主要是为解决深度学习模型泛化能力不足的问题，同时减少神经网络需要感知的参数的数量从而降低模型学习的复杂度。其次，利用深度学习模型来克服理想物理模型精度不足的问题。第三，也是最关键的部分，本发明专利技术设计了一种视觉和惯性特征的融合模块，以提取视觉

【技术实现步骤摘要】
基于视觉与惯性导航信息融合神经网络的无人机高度估算方法


[0001]本专利技术属于图像信息处理领域，具体涉及基于视觉与惯性导航信息融合神经网络的无人机高度估算方法。

技术介绍

[0002]无人机高度估算是指通过无人机搭载传感器或接收信息来实时获取无人机飞行高度。高度估算在无人机自主着陆、导航及定位、飞行避障等领域具有重要的应用价值。特别是无人机的自主着陆，高度估算技术是引导无人机实现自主降落的关键技术。目前大型的固定翼无人机在机场降落时常采用远程人工遥控的方式进行，自主化程度较低，因此亟需开发一种高度估算方法为大型的固定翼无人机提供实时的高度估算，从而实现无人机的自主着陆。
[0003]近年来，国内外广大研究人员在无人机飞行高度估算及应用研究领域取得了一定成果。可将已有的无人机高度估算方法分为四类：1)基于接受全球定位系统(global positioning system GPS)的方法。该方法利用无人机不断接收的全球定位系统信号，无人机的实时飞行位置与高度进行计算，目前基于GPS差分技术的定位(高度估算)精度已经可以达到厘米级。然而，由于实际环境中GPS信号可能存在被干扰，建筑物遮挡等问题，导致无人机无法正常接收GPS信号从而无法实现高度估算。2)基于惯性导航系统的(Inertial Navigation System INS)方法。该类方法通常是与其他估算方法进行组合从而实现高度估算的。由于惯性导航系统从惯性测量单元获取的信息是加速度信息，需要二次积分才能获取位移(距离)测量结果。此外，常规价格的惯性测量单元都存在着累计误差且无法主动消除，因此在长航程的飞行过程中，其高度估算误差会越来越大。3)基于其他主动测距设备的无人机高度估算方法，该类方法通常采用在无人机上加装激光测距仪等主动式测距设备实现，这类方法在有限的测量范围和条件下可以取得较高的高度估算精度，但由于是主动式测距设备，设备的功耗往往比较大并且同样容易被强光等因素干扰影响其测量精度。4)基于视觉的方法。该方法主要利用视觉特征、先验信息、成像原理、坐标系转换以及运动学建模等知识对无人机与着陆场之间的相对运动与位置进行建模，从而实现高度估算。这类方法具有抗干扰、低功耗、低成本等优点，已经成为了高度估算领域的一大研究热点。但是，目前该领域的研究尚未完全成熟，通常在利用视觉特征等进行飞行高度建模时会采用理想化处理，将无人机实时运动状态等复杂的非线性问题进行线性化处理。此外，在固定翼无人机实际飞行情况下仍存在以下问题：1)目前视觉算法主要以地面的辅助着陆系统为主，通常是在机场搭建双目视觉系统用来捕获跟踪无人机，比利用双目测距原理计算出无人机与地面辅助系统的相对距离进而估算出无人机的飞行高度。搭建这样的辅助着陆系统成本高，适用条件严苛，并且双目相机系统的有效测距范围有限，因此并不具备大规模使用的潜力。2)现有的基于单目相机进行高度估算的算法主要应用于无人机进行近距离的垂直着陆。其特点是搭载相机始终垂直于地面，且需要在地面设置可视并捕获的标识物，从而辅助无人
机进行自身飞行高度的估算，而地面标识物尺寸的限制，使得这类算法的估算范围有限，并且无人机与着陆区域的相对速度较为缓慢。对于固定翼无人机等大型无人机来说其估算范围要求较大且不能进行较为缓慢的着陆，因此单目相机很难满足这类无人机对高度估算的需求。此外，由于无人机飞行过程中通常存在机身抖动以及高速运动的情况，因此所拍摄的图像信息可能存在运动造成的模糊甚至是图像信息的丢失，因此现有的单目视觉方案存在失效的风险。3)现有的研究已有将惯性导航信息与视觉信息融合以解决图像模糊、丢失以及惯性测量单元累计误差等问题的方案，并且在小型无人机的定位与姿态估算应用上取得了较高精度的结果。但惯性导航信息与视觉信息的融合需要对传感器进行外参矫正，并且还需要对收集信息进行时间对齐。否则信息融合非但不能获得比单一视觉方案更好的效果，反而会导致高度估算方法出现更大的误差。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术的缺点，提供基于视觉与惯性导航信息融合神经网络的无人机高度估算方法。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]基于视觉与惯性导航信息融合神经网络的无人机高度估算方法，包括以下操作：
[0007](1)利用通道注意力机制和空间注意力机制的卷积神经网络对输入图像中的信息进行特征提取与编码，得到特征向量a
v
；
[0008]基于无人机实时拍摄的图像数据I
N
、无人机的俯仰角、无人机相对跑道朝向夹角、滚转角以及图像平面中获取的跑道两侧边线与跑道底边边线的夹角λ和β来建立理想的飞行高度估算模型和误差函数，将理想高度估计模型与误差函数分别送入单层LSTM网络进行特征编码，对编码后的向量进行逐位相加获得特征向量a
f
，将所述特征向量a
f
与图像特征编码后的特征向量a
v
进行特征连接操作，之后输入到特征融合模块；
[0009](2)将所述特征向量a
f
与图像特征编码后的特征向量a
v
进行特征连接操作，之后输入到基于自注意力机制的特征融合模块中；
[0010]两个特征向量连接后的特征向量为：
[0011]g
dir
(a
v
，a
f
)＝[a
v
；a
f
][0012]将连接后的特征向量输入到基于自注意力机制的特征融合模块中，基于自注意力机制的特征融合模块将a
v
和a
f
分别映射为向量Q
v
,K
v
,V
v
以及向量Q
f
,K
f
,V
f
，根据下式将两组向量交叉运算，从而计算出特征向量a
v
和a
f
之间的相关度m
v
以及m
f
，将两个相关度分别与a
v
和a
f
做逐点乘操作，从而获得特征融合后的特征向量；
[0013][0014]其中，是经验值；
[0015](3)将融合后的特征向量输入到双向长时记忆网络来提取时序特征，双向长时记忆网络对融合后的特征向量进行正向和反向的时序特征提取，最终通过对输出的回归实现无人机飞行高度的估算。
[0016]进一步的，步骤(1)中图像中的信息进行特征提取与编码，具体为：
[0017](101)将图像输入ResNet卷积模块中，ResNet卷积模块提取出特征图；
[0018](102)将所述特征图输入通道注意力子模块，分别经过基于W和H的全局最大池化和全局平均池化，两个池化结果分别经过共享参数的多层感知机，将多层感知机输出的特征进行基于逐像素的加和操作，再经过sigmoid进行激活操作，生成最终的通道注意力特征图；将通道注意力特征图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉与惯性导航信息融合神经网络的无人机高度估算方法，其特征在于，包括以下操作：(1)利用通道注意力机制和空间注意力机制的卷积神经网络对输入图像中的信息进行特征提取与编码，得到特征向量a
v
；基于无人机实时拍摄的图像数据I
N
、无人机的俯仰角、无人机相对跑道朝向夹角、滚转角以及图像平面中获取的跑道两侧边线与跑道底边边线的夹角λ和β来建立理想的飞行高度估算模型和误差函数，将理想高度估计模型与误差函数分别送入单层LSTM网络进行特征编码，对编码后的向量进行逐位相加获得特征向量a
f
，将所述特征向量a
f
与图像特征编码后的特征向量a
v
进行特征连接操作，之后输入到特征融合模块；(2)将所述特征向量a
f
与图像特征编码后的特征向量a
v
进行特征连接操作，之后输入到基于自注意力机制的特征融合模块中；两个特征向量连接后的特征向量为：g
dir
(a
v
，a
f
)＝[a
v
；a
f
]将连接后的特征向量输入到基于自注意力机制的特征融合模块中，基于自注意力机制的特征融合模块将a
v
和a
f
分别映射为向量Q
v
，K
v
，V
v
以及向量Q
f
，K
f
，V
f
，根据下式将两组向量交叉运算，从而计算出特征向量a
v
和a
f
之间的相关度m
v
以及m
f
，将两个相关度分别与a
v
和a
f
做逐点乘操作，从而获得特征融合后的特征向量；其中，是经验值；(3)将融合后的特征向量输入到双向长时记忆网络来提取时序特征，双向长时记忆网络对融合后的特征向量进行正向和反向的时序特征提取，最终通过对输出的回归实现无人机飞行高度的估算。2.根据权利要求1所述的基于视觉与惯性导航信息融合神经网络的无人机高度估算方法，其特征在于，步骤(1)中图像中的信息进行特征提取与编码，具体为：(101)将图像输入ResNet卷积模块中，ResNet卷积模块提取出特征图；(102)将所述特征图输入通道注意力子模块，分别经过基于W和H的全局最大池化和全局平均池化，两个池化结果分别经过共享参数的多层感知机，将多层感知机输出的特征进行基于逐像素的加和操作，再经过sigmoid进行激活操作，生成最终的通道注意力特征图；将通道注意力特征图与ResNet卷积模块提取的特征图进行逐元素乘法操作，通道注意力子模块输出特征图；(103)将通道注意力子模块输出的特征图输入到空间注意力子模块，做一个基于通道的全局最大池化和全局平均池化，之后将这2个池化结果基于通道做特征连接操作；然后经过一个卷积...

【专利技术属性】
技术研发人员：马钟，刘露露，张栩培，王莉，
申请(专利权)人：西安微电子技术研究所，
类型：发明
国别省市：