基于深度学习匹配和卡尔曼滤波的飞行器视觉导航方法技术

本申请涉及一种基于深度学习匹配和卡尔曼滤波的飞行器视觉导航方法，通过获取航拍实时图像以及实时更新的飞行器辅助参数，先进行粗匹配，再将粗匹配后得到的候选匹配图像输入精准匹配网络提取高维度特征，采用快速匹配算法根据高维度特征在卫星基准图像上找到与航拍实时图像中位置精准匹配的地方，得到航拍实时图像中多个同名点的位置坐标，再根据多个同名点的坐标进行计算得到当前飞行器的位置和姿态即视觉导航结果，在根据飞行器辅助参数进行惯性导航累计导航误差，当导航误差大于预设阈值时，则根据视觉导航结果，采用卡尔曼滤波对飞行器辅助参数进行修正后再进行惯性导航，采用本方法可实现全天时全天候高精度的导航。采用本方法可实现全天时全天候高精度的导航。采用本方法可实现全天时全天候高精度的导航。

【技术实现步骤摘要】
基于深度学习匹配和卡尔曼滤波的飞行器视觉导航方法


[0001]本申请涉及视觉导航
，特别是涉及一种基于深度学习匹配和卡尔曼滤波的飞行器视觉导航方法。

技术介绍

[0002]飞行器视觉导航是指通过计算机视觉技术获取飞行器周围环境信息，进而确定飞行器当前位置和方向，从而实现精确的导航控制。然而，由于飞行器的运动状态和外部环境的复杂性，传统的视觉导航方法存在很大的局限性，往往不能满足高精度导航的要求。结合基于异时异源图像匹配的惯性导航定位修正方法可以让飞行器定位技术摆脱对导航卫星的依赖，实现全天时、全天候、实时、高精度要求和战略安全需要的自主定位技术。异源图像之间由于成像机理不同导致的图像特性差异，如非线性灰度畸变和不同的噪声特性。另外异时异源图像在获取过程中，往往存在一定的角度差异，会导致对同一地区的成像结果间存在较大的几何畸变，以上因素给异时异源图像的匹配带来巨大的挑战，设计提取异时异源图像间一致性相似特征也一直是研究的难点热点问题。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够实现高精度导航的基于深度学习匹配和卡尔曼滤波的飞行器视觉导航方法、装置及设备。
[0004]一种飞行器基于深度学习匹配和卡尔曼滤波的飞行器视觉导航方法，所述方法包括：获取航拍实时图像，以及实时更新的飞行器辅助参数；对所述航拍实时图像与预存的卫星基准图像进行粗匹配处理，得到多个对应相同位置的候选匹配图像对；将各所述候选匹配图像对输入训练好的精准匹配网络中提取对应各所述候选匹配图像中航拍实时图像与卫星基准图像的高维度特征；根据所述高维度特征，采用快速KNN匹配算法对对应的候选匹配图像对中的航拍实时图像与卫星基准图像进行精准匹配，得到所述航拍实时图像与卫星基准图像的多个精准同名点对以及各精准同名点对之间的对应关系；根据各所述精准同名点对之间的对应关系得到所述航拍实时图像中同名点的准确坐标，并根据多个同名点的准确坐标进行计算得到当前飞行器的位置和姿态，将根据所述航拍实时图像得到的飞行器位置和姿态作为视觉导航结果；根据所述视觉导航结果对惯性导航的累积误差进行评估，当导航误差大于预设阈值时，则根据所述视觉导航结果，采用卡尔曼滤波对飞行器辅助参数进行修正，并采用修正后的飞行器辅助参数进行惯性导航。
[0005]在其中一实施例中，所述精准匹配网络采用MatchNet网络。
[0006]在其中一实施例中，所述对所述航拍实时图像与预存的卫星基准图像进行粗匹配
处理，得到多个对应相同位置的候选匹配图像对包括：将所述航拍实时图像与预存的卫星基准图像输入训练好的异时异源特征提取网络中提取所述航拍实时图像与所述卫星基准图像的一致性特征；根据所述一致性特征，采用快速KNN匹配算法对所述航拍实时图像与卫星基准图像进行粗匹配，得到两者之间多个候选同名点对以及各候选同名点对之间的对应关系；根据各所述候选同名点对以及对应关系分别在所述航拍实时图像和卫星基准图像中按照预设大小进行裁剪，得到与各所述候选同名点对对应的多个候选匹配图像对。
[0007]在其中一实施例中，所述方法还包括对所述异时异源特征提取网络进行训练：获取不同时间段，同一区域进行拍摄的卫星图像集以及光学图像集；根据所述卫星图像集以及光学图像集构建训练数据集，所述训练数据集中包括多个匹配图像对，各所述匹配图像对中包括成像区域及成像角度均匹配的卫星图像以及光学图像；将所述匹配图像对输入至所述异时异源特征提取网络中，由所述异时异源特征提取网络将匹配图像对中卫星图像以及光学图像映射到低纬度空间以分别得到具有相关性的一致性特征；将所述一致性特征输入度量网络，由所述度量网络根据所述一致性特征进行相似性度量，从而得到所述匹配图像对提取特征的一致性概率；根据所述一致性概率以及所述匹配图像对的一致性特征计算损失函数，并利用所述损失函数对异时异源特征提取网络中的参数进行调整，直至所述损失函数收敛，则得到所述训练好的异时异源特征提取网络。
[0008]在其中一实施例中，所述异时异源特征提取网络采用MatchNet孪生网络。
[0009]在其中一实施例中，所述度量网络包括叠加的全连接层以及softmax层。
[0010]在其中一实施例中，所述损失函数采用基于距离加权的Contrastive Loss，表示为：；其中，；在上式中，为一个常数，表示一致性特征图像中，中心点到图像边缘的最大距离，表示当前像素点距离图像快中心点的距离，表示所述一致性概率，m为一个整数，表示所述匹配图像对的差异程度，表示一致性特征和之间的欧式距离，其中，和分别表示匹配图像对中卫星图像以及光学图像的一致性特征，表示训练样本数量。
[0011]在其中一实施例中，所述根据多个同名点的准确坐标进行计算得到当前飞行器的位置和姿态包括：根据所述航拍实时图像中同名点的准确坐标以及当前时刻的飞行器辅助参数，基于光电相机中心投影的成像关系构建得到关于该同名点的共线方程；
根据多个所述同名点得到对应的多个共线方程，将多个共线方程进行联立组成方程组；对所述方程组进行求解，得到当前飞行器的位置和姿态。
[0012]在其中一实施例中，所述则根据所述视觉导航结果，采用卡尔曼滤波对飞行器辅助参数进行修正包括：采用卡尔曼滤波进行当前时刻状态最优估计，将当前时刻飞行器的位置和姿态作为状态量，将最近时刻得到的视觉导航结果以及当前时候的飞行器辅助参数作为观测量，根据所述观测量预测当前时刻的最优状态量，所述最优状态为当前时刻所述飞行器的最优位置和姿态。
[0013]一种飞行器基于深度学习匹配和卡尔曼滤波的飞行器视觉导航装置，所述装置包括：数据获取模块，用于获取航拍实时图像，以及实时更新的飞行器辅助参数；候选匹配图像对得到模块，用于对所述航拍实时图像与预存的卫星基准图像进行粗匹配处理，得到多个对应相同位置的候选匹配图像对；高维度特征提取模块，用于将各所述候选匹配图像对输入训练好的精准匹配网络中提取对应各所述候选匹配图像中航拍实时图像与卫星基准图像的高维度特征；图像精准匹配模块，用于根据所述高维度特征，采用快速KNN匹配算法对对应的候选匹配图像对中的航拍实时图像与卫星基准图像进行精准匹配，得到所述航拍实时图像与卫星基准图像的多个精准同名点对以及各精准同名点对之间的对应关系；视觉导航结果得到模块，用于根据各所述精准同名点对之间的对应关系得到所述航拍实时图像中同名点的准确坐标，并根据多个同名点的准确坐标进行计算得到当前飞行器的位置和姿态，将根据所述航拍实时图像得到的飞行器位置和姿态作为视觉导航结果；惯性导航修正模块，用于根据所述视觉导航结果对惯性导航的累积误差进行评估，当导航误差大于预设阈值时，则根据所述视觉导航结果，采用卡尔曼滤波对飞行器辅助参数进行修正，并采用修正后的飞行器辅助参数进行惯性导航。
[0014]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取航拍实时图像，以及实时更新的飞行器辅助参数；对所述航拍实时图像与预存的卫星基准图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习匹配和卡尔曼滤波的飞行器视觉导航方法，其特征在于，所述方法包括：获取航拍实时图像，以及实时更新的飞行器辅助参数；对所述航拍实时图像与预存的卫星基准图像进行粗匹配处理，得到多个对应相同位置的候选匹配图像对；将各所述候选匹配图像对输入训练好的精准匹配网络中提取对应各所述候选匹配图像中航拍实时图像与卫星基准图像的高维度特征；根据所述高维度特征，采用快速KNN匹配算法对对应的候选匹配图像对中的航拍实时图像与卫星基准图像进行精准匹配，得到所述航拍实时图像与卫星基准图像的多个精准同名点对以及各精准同名点对之间的对应关系；根据各所述精准同名点对之间的对应关系得到所述航拍实时图像中同名点的准确坐标，并根据多个同名点的准确坐标进行计算得到当前飞行器的位置和姿态，将根据所述航拍实时图像得到的飞行器位置和姿态作为视觉导航结果；根据所述视觉导航结果对惯性导航的累积误差进行评估，当导航误差大于预设阈值时，则根据所述视觉导航结果，采用卡尔曼滤波对飞行器辅助参数进行修正，并采用修正后的飞行器辅助参数进行惯性导航。2.根据权利要求1所述的飞行器视觉导航方法，其特征在于，所述精准匹配网络采用MatchNet网络。3.根据权利要求2所述的飞行器视觉导航方法，其特征在于，所述对所述航拍实时图像与预存的卫星基准图像进行粗匹配处理，得到多个对应相同位置的候选匹配图像对包括：将所述航拍实时图像与预存的卫星基准图像输入训练好的异时异源特征提取网络中提取所述航拍实时图像与所述卫星基准图像的一致性特征；根据所述一致性特征，采用快速KNN匹配算法对所述航拍实时图像与卫星基准图像进行粗匹配，得到两者之间多个候选同名点对以及各候选同名点对之间的对应关系；根据各所述候选同名点对以及对应关系分别在所述航拍实时图像和卫星基准图像中按照预设大小进行裁剪，得到与各所述候选同名点对对应的多个候选匹配图像对。4.根据权利要求3所述的飞行器视觉导航方法，其特征在于，所述方法还包括对所述异时异源特征提取网络进行训练：获取不同时间段，同一区域进行拍摄的卫星图像集以及光学图像集；根据所述卫星图像集以及光学图像集构建训练数据集，所述训练数据集中包括多个匹配图像对，各所述匹配图像对中包括成像区域及成像角度均匹配的卫星图像以及光学图像；...

【专利技术属性】
技术研发人员：滕锡超，刘学聪，李璋，苏昂，王靖皓，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：