【技术实现步骤摘要】
本专利技术涉及景象匹配，特别是涉及一种拒止环境下基于无人机图像和卫星地图的景象匹配方法。
技术介绍
1、在景象匹配领域，通常使用无人机上携带的全球定位系统（gps）获取自身无人机位置，结合无人机姿态参数和云台参数，解算得到无人机当前视角范围。通过当前视角范围，在预先下载好的卫星地图上进行裁剪，获得粗匹配区域。然后使用sift或orb技术对裁剪下来的粗匹配图像和无人机图像进行特征提取，利用提取的特征进行图像匹配，从而完成景象匹配任务。
2、然而，在拒止环境下，通常由于无法依赖传统的gps定位信息，无人机无法获取用于匹配的粗匹配图像。这是因为在拒止环境中，gps信号可能会受到干扰或根本不可用，从而导致传统方法无法获取足够的位置信息。这一情况可能威胁无人机的导航和定位，影响到景象匹配任务的可行性和成功性。
3、为解决这个问题，本专利技术提出了一种拒止环境下基于无人机图像和卫星地图的景象匹配方法。
技术实现思路
1、针对以上技术问题，本专利技术提供一种拒止环境下基于无人机图像和卫星地图的景象匹配方法。
2、本专利技术解决其技术问题采用的技术方案是：
3、拒止环境下基于无人机图像和卫星地图的景象匹配方法，所述方法包括以下步骤：
4、s100：获取区域的原始卫星地图以及该区域的无人机真实航拍图像，并建立数据集；
5、s200：搭建superretrieval模型，根据数据集结合预设的损失函数对superretrieval模
6、s300：获取实时卫星地图，对卫星地图进行预处理得到卫星地图库，根据卫星地图库得到地理坐标和卫星图像，将预处理后的卫星地图图片输入到训练好的superretrieval模型提取得到第一特征向量，与其对应的地理坐标和卫星图像一起保存，作为地图数据库；
7、s400：将无人机当前所拍摄的图像输入到训练好的superretrieval中提取第二特征向量，将第二特征向量作为查询，对地图数据库进行余弦相似度检索，得到与第二特征向量对应的卫星图像及地理坐标；
8、s500：将检索得到的卫星图像作为粗匹配区域图像和无人机当前所拍摄的图像进行图像匹配，结合匹配结果以及卫星图像的地理坐标，完成景象匹配任务。
9、优选地，s100包括：
10、获取区域的原始卫星地图以及该区域的无人机真实航拍图像，对卫星图像进行预处理，将预处理后的卫星图像和原始卫星图像标记成对作为第一数据集，根据无人机飞行的参数，通过传统粗匹配的方法，锁定无人机拍摄图像在卫星地图上视野范围，根据这个视野范围，将卫星地图裁剪后的图像和无人机图像标记成对，作为第二数据集。
11、优选地，s200包括：
12、搭建superretrieval模型，使用第一数据集结合预设的损失函数对superretrieval模型进行自监督训练，再使用第二数据集结合预设的损失函数对自监督训练完成后得到的superretrieval模型进行训练，得到训练好的superretrieval模型。
13、优选地，特征提取模块包括编码器、关键点解码器、描述子解码器，编码器由卷积层、激活层、汇聚层交替构成，将输入图像输入至编码器，将编码器产生的结果分别送入关键点解码器和描述子解码器，得到图像中的关键点概率图及对应关键点的特征描述子。
14、优选地，将输入图像分辨率调整为640x480，输入到编码器，编码器输出特征向量的维度为80x60；将输出的结果分别输入到关键点解码器和描述子解码器，关键点解码器输出一个640x480x1的特征向量，其中每个数据代表原始图像上对应点是否为关键点的概率；描述子解码器输出一个80x60x256的特征向量，再通过插值算法，扩充为640x480x256的特征向量，其中每个1x256的特征向量为对应关键点的特征描述子。
15、优选地，特征融合模块包括transformer模块，将关键点解码器输出的关键点的概率从大到小进行排序，将前预设数量个关键点的特征描述子提取出来，作为特征融合模块的输入，在每个transformer层中，每个特征描述子作为查询，对同一图像中其他特征描述子作交叉注意力运算，使得每个关键点都能和其他关键点产生联系，聚合上下文信息，得到更为全面的特征描述子信息。
16、优选地，交叉注意力运算的具体操作为：
17、对每个特征描述子进行三次不同的全连接层线性变换，得到查询、键、值，每个都需要和所有的键进行点乘，再通过softmax得到注意力权重；使用注意力权重和对应的值求得加权和，作为新的特征描述子表示，公式如下：
18、；
19、其中、、分别为三次不同的全连接层线性变换参数，为输入的特征描述子，为输出的特征描述子。
20、优选地，汇聚模块包括mlp，汇聚模块用于将特征融合模块输出维度为100x256的特征向量转置，然后输入至mlp，通过mlp将其汇聚成维度为100x1的全局描述符，作为该张图像的最终特征表示。
21、优选地，输入一张查询图像，选择对比损失作为模型的预设损失函数，选择余弦相似度最低的n个卫星图像样本作为负样本，对应标记的卫星图像样本作为正样本，进行训练，具体为：
22、；
23、其中，为查询图像通过模型后输出的特征描述子第p维度的特征，为正样本图像通过模型后输出的特征描述子第p维度的特征，为图像和图像两组特征描述子的欧氏距离。当输入的样本为正样本时，当输入的样本为负样本时，为损失值，，m为正样本与负样本的欧式距离的预设阈值，设置为0.8。
24、上述拒止环境下基于无人机图像和卫星地图的景象匹配方法，不依赖传统的gps定位，而是依赖深度学习网络从无人机图像和卫星地图数据捕获所需信息，以推断和精确定位无人机，从而允许进行景象匹配，即使在无法依赖gps的极端环境中也能够成功完成导航任务，能够有效解决景象匹配领域中，由于拒止环境下无人机无法获取足够的定位信息导致粗定位失败的问题。并且提出的自监督训练方法能够提高模型训练效率，特别是在模型训练初期，它解决了由于无人机图像和卫星图像采集方法和视角存在差异而导致的模型难以快速收敛的问题。这一方法可以提供更大的鲁棒性和适应性，以确保无人机能够在各种挑战性的环境中可靠地执行景象匹配任务。
本文档来自技高网...【技术保护点】
1.拒止环境下基于无人机图像和卫星地图的景象匹配方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，S100包括：
3.根据权利要求2所述的方法，其特征在于，S200包括：
4.根据权利要求3所述的方法，其特征在于，特征提取模块包括编码器、关键点解码器、描述子解码器，编码器由卷积层、激活层、汇聚层交替构成，将输入图像输入至编码器，将编码器产生的结果分别送入关键点解码器和描述子解码器，得到图像中的关键点概率图及对应关键点的特征描述子。
5.根据权利要求4所述的方法，其特征在于，将输入图像分辨率调整为640x480，输入到编码器，编码器输出特征向量的维度为80x60；将输出的结果分别输入到关键点解码器和描述子解码器，关键点解码器输出一个640x480x1的特征向量，其中每个数据代表原始图像上对应点是否为关键点的概率；描述子解码器输出一个80x60x256的特征向量，再通过插值算法，扩充为640x480x256的特征向量，其中每个1x256的特征向量为对应关键点的特征描述子。
6.根据权利要求5
7.根据权利要求6所述的方法，其特征在于，交叉注意力运算的具体操作为：
8.根据权利要求7所述的方法，其特征在于，汇聚模块包括MLP，汇聚模块用于将特征融合模块输出维度为100x256的特征向量转置，然后输入至MLP，通过MLP将其汇聚成维度为100x1的全局描述符，作为该张图像的最终特征表示。
9.根据权利要求1所述的方法，其特征在于，输入一张查询图像，选择对比损失作为模型的预设损失函数，选择余弦相似度最低的N个卫星图像样本作为负样本，对应标记的卫星图像样本作为正样本，进行训练，具体为：
...【技术特征摘要】
1.拒止环境下基于无人机图像和卫星地图的景象匹配方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，s100包括：
3.根据权利要求2所述的方法，其特征在于，s200包括：
4.根据权利要求3所述的方法，其特征在于，特征提取模块包括编码器、关键点解码器、描述子解码器，编码器由卷积层、激活层、汇聚层交替构成，将输入图像输入至编码器，将编码器产生的结果分别送入关键点解码器和描述子解码器，得到图像中的关键点概率图及对应关键点的特征描述子。
5.根据权利要求4所述的方法，其特征在于，将输入图像分辨率调整为640x480，输入到编码器，编码器输出特征向量的维度为80x60；将输出的结果分别输入到关键点解码器和描述子解码器，关键点解码器输出一个640x480x1的特征向量，其中每个数据代表原始图像上对应点是否为关键点的概率；描述子解码器输出一个80x60x256的特征向量，再通过插值算法，扩充为640x480x256的特征向量，其中每个1x256的特征向量为对应关键点的...
【专利技术属性】
技术研发人员：朱青，林煌彬，冯明涛，周振，罗建桥，莫洋，王耀南，罗越凡，李奕江，隋永杰，李天明，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。