一种地空地理定位方法技术

本发明专利技术公开了一种地空地理定位方法，其特征在于，包括：对地面图像和卫星图像的局部特征提取；将地面图像的局部特征传输到卫星图像域以实现特征对齐；使用三重损失函数来计算两者特征之间的差距并反向更新网络参数。本发明专利技术的方法将地面图像的局部特征传输到卫星图像域，提高交叉视图地理定位的准确度；该方法对于方向扰动具有鲁棒性。当地面图像没有指定北向时仍有良好的定位效果。向时仍有良好的定位效果。向时仍有良好的定位效果。

【技术实现步骤摘要】
一种地空地理定位方法


[0001]本专利技术涉及跨域识别技术，具体涉及一种地空地理定位方法。

技术介绍

[0002]目前，跨域识别所观察的图像信息来源于不同的摄像头下，由于每个摄像头自身的差异性，导致重识别具有几个特征。一是由于摄像头高低、拍摄方向的不同，不同目标拍摄出来的图像可能比同一目标在不同姿态下拍摄出来的图像在外观上更加相似。二是在实际拍摄中，由于清晰程度有限和拍摄角度限制，很难获取到正面的信息，仅能利用外观特征进行判断。三是在不同摄像头下，同一个目标由于受到光线、角度和姿态等因素的影响，其所表现出来的外观特征也是不一样的。收到以上几方面特征的影响，对于跨域目标的重识别一直是关注的热点，人们在不断探索研究，寻找更好的方法。近年来，在单域任务的前提下，不断改进的特征提取和度量学习方法对于大规模数据集的重识别准确率已经有了巨大的提升。然而，当在不同的域中直接使用模型时，性能会有巨大的下降， 这在新数据集上测试模型时很明显。例如目前在 Market1501上 top
‑
1召回率最高可达到 95%以上，但类似精度的模型直接用于非同源任务，如 Duke MTMC reid时，top
‑
1 召回率往往不到40%。这就是跨域重识别中的域适应问题，这在机器学习领域普遍存在。而考虑到跨域识别领域相对较小的数据集和较单一的场景，且在跨域重识别任务中，源域和目标域之间通常存在显著的域差，这个问题就格外的严重。本专利主要研究的问题是地面图像与对应卫星图像的跨域定位，其本质也是跨域重识别问题，源域与目标域在视角上相差了 90
°
。任务是：给定街道场景的地面图像（例如街景图像），希望根据估计其相对于卫星地图的定理位置来估计该图像的拍摄位置。由于高分辨率卫星图像的广泛可获得性，这种交叉视图定位问题不仅具有实际意义，而且具有重要的科学意义，如无人机在空中飞行时的目标定位、根据地理 7图片来进行卫星定位等。但也具有很大的挑战性，挑战主要来自于不同图像的视角的显著差异（一个来自地面，另一个来自头顶）和视觉外观的巨大差异。
[0003]在早期阶段，人们利用计算机视觉界常用的传统特征进行交叉视图图像匹配。然而，由于视点上的巨大差异，同一位置的卫星图像和地面图像在特征上有很大的不同，这导致传统 局部特征的直接匹配失败。因此，许多地方将地面图像扭曲为自顶向下的视图，以改进特征匹配。例如，如果卫星图像是倾斜的，并且建筑立面是可见的，则可以通过立面面片匹配实现地理定位。
[0004]由于深度学习方法在图像/视频分类和识别任务中被证明是非常成功的，人们努力将深度学习引入交叉视图图像匹配和检索领域。Workman 和 Jacobs在 ImagNet和 Places上对 AlexNet进行了微调，然后应用神经网络提取特征以进行交叉视图匹配/定位。他们表明，普通图像分类的深层特征明显优于手工制作的特征。有的学者指出，通过最小化卫星和地面图像之间的距离来微调卫星分支，可以获得更好的定位性能。后来，Workman 等人通过在空中分支上训练卷积神经网络，进一步提高了匹配精度。有对现有的分类和检索网络进行了彻底的试验，包括二分类网络、Siamese 网络和三元组网络。图像检索最重要的
部分是找到一个好的图像描述符，该描述符应具有很好 的区分性和快速的比较性。有提出了视觉单词描述符包， 将一组局部特征聚合成视觉单词的直方图，即全局描述符。结果表明，该描述符具有部分视点和遮挡不变性，优于局部特征匹配。有创建了树结构词汇表，以支持更多视觉词汇。有提出了VLAD 描述符，他们将局部特征的残差聚合到聚类质心，而不是直方图。基于这项工作， 有的提出了一个可学习的 VLAD 层，即 Net
‑
VLAD，它可以嵌入到深度网络中进行端到端培训。在他们的扩展论文中，他们说明了Net
‑
VLAD 优于多个完全连接层，max pooling 和 VLAD。由于 Net
‑
VLAD 的优越性能， CVM
‑
NET 在网络中采用了 Net
‑
VLAD 层。Hu 等人在 Siamese 网络的基础上，在 VGG 网络的顶部嵌入了一个 Net
‑
VLAD 层，以提取对大视角变化不变性的描述符。有将每像素方向信息合并到 CNN 中，以学习交叉视图定位的方向选择功能。通过新的软边缘三元损失函数和穷举小批量训练策略，它们在检索精度上取得了显著的提高。另一方面，有提出了一种弱监督的训练网络来获取卫星图像的语义布局。这些布局被用作图像描述符，用于从数据库中进行检索。
[0005]现有方法虽然在交叉视图地理定位任务上能取得较好的成绩，但都存在一个缺点，即都忽略了地面图像的空间布局信息。它们只关注特征是什么，而不关注特征于特征之间的关系，这导致在某些应用场景下定位效果很差。如在野外树林或荒野上的定位，因为没有突出的特征，很容易出现误判的情况。事实上，地面图像的空间布局信息对于进行定位有很重要的意义，如现实中常常会根据房屋、汽车的布局信息来进行定位。

技术实现思路

[0006]本专利技术的主要目的在于提供一种地空地理定位方法，将地面图像的局部特征传输到卫星图像域，提高交叉视图地理定位的准确度；该方法对于方向扰动具有鲁棒性。当地面图像没有指定北向时仍有良好的定位效果。
[0007]本专利技术采用的技术方案是：一种地空地理定位方法，包括：对地面图像和卫星图像的局部特征提取；将地面图像的局部特征传输到卫星图像域以实现特征对齐；使用三重损失函数来计算两者特征之间的差距并反向更新网络参数。
[0008]进一步地，所述对地面图像和卫星图像的局部特征提取包括：使用VGG16网络进行地面图像和卫星图像的局部特征提取；VGG16网络由五层卷积层，四层池化层组成；在第一层卷积层中，输 入为地面图像和卫星图像，其维度分别为112
ꢀ×ꢀ
616
ꢀ×ꢀ
3和256
ꢀ×ꢀ
256
ꢀ×ꢀ
3，对图 像进行两次卷积操作，卷积核维度分别为3
ꢀ×ꢀ3ꢀ×ꢀ3ꢀ×ꢀ
64和3
ꢀ×ꢀ3ꢀ×ꢀ
64
ꢀ×ꢀ
64，即 卷积核长宽分别为 3，3，输入深度为 3，输出深度为 64 以及输入 深度为 64，输出深度为 64，第一层卷积过后连接一个最大池化层；在第二层卷 积层中，输入为第一层卷积层的输出，输入深度为 64，进行两次卷积操作，卷积核维度分别为3
ꢀ×ꢀ3ꢀ×ꢀ
64
ꢀ×ꢀ
128和3
ꢀ×ꢀ3ꢀ×ꢀ
128
ꢀ×ꢀ
128，然后连接一个最大池化 层；在第三层卷积层中，输入为第二层卷积层的输出，输入深度为 128，进行 三次卷积操作，卷积核维度分别为3
ꢀ×ꢀ3ꢀ×ꢀ
128
ꢀ×ꢀ
256、3
ꢀ×ꢀ3ꢀ×ꢀ
256
ꢀ×ꢀ
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种地空地理定位方法，其特征在于，包括：对地面图像和卫星图像的局部特征提取；将地面图像的局部特征传输到卫星图像域以实现特征对齐；使用三重损失函数来计算两者特征之间的差距并反向更新网络参数。2.根据权利要求1所述的地空地理定位方法，其特征在于，所述对地面图像和卫星图像的局部特征提取包括：使用VGG16网络进行地面图像和卫星图像的局部特征提取；VGG16网络由五层卷积层，四层池化层组成；在第一层卷积层中，输 入为地面图像和卫星图像，其维度分别为112
ꢀ×ꢀ
616
ꢀ×ꢀ
3和256
ꢀ×ꢀ
256
ꢀ×ꢀ
3，对图 像进行两次卷积操作，卷积核维度分别为3
ꢀ×ꢀ3ꢀ×ꢀ3ꢀ×ꢀ
64和3
ꢀ×ꢀ3ꢀ×ꢀ
64
ꢀ×ꢀ
64，即 卷积核长宽分别为 3，3，输入深度为 3，输出深度为 64 以及输入 深度为 64，输出深度为 64，第一层卷积过后连接一个最大池化层；在第二层卷 积层中，输入为第一层卷积层的输出，输入深度为 64，进行两次卷积操作，卷积核维度分别为3
ꢀ×ꢀ3ꢀ×ꢀ
64
ꢀ×ꢀ
128和3
ꢀ×ꢀ3ꢀ×ꢀ
128
ꢀ×ꢀ
128，然后连接一个最大池化 层；在第三层卷积层中，输入为第二层卷积层的输出，输入深度为 128，进行 三次卷积操作，卷积核维度分别为3
ꢀ×ꢀ3ꢀ×ꢀ
128
ꢀ×ꢀ
256、3
ꢀ×ꢀ3ꢀ×ꢀ
256
ꢀ×ꢀ
256和3
ꢀ×ꢀ3ꢀ×ꢀ
256
ꢀ×ꢀ
256，然后连接一个最大池化层；在第四层卷积层中输入为第三层卷 积层的输出，进行三次卷积操作，卷积核维度分别为3
ꢀ×ꢀ3ꢀ×ꢀ
256
ꢀ×ꢀ
512、3
ꢀ×ꢀ3ꢀ×ꢀ
512
ꢀ×ꢀ
512和3
ꢀ×ꢀ3ꢀ×ꢀ
512
ꢀ×ꢀ
512，在每次卷积后都使用一次 dropout 函数， keep prob 设定为 0.8，然后连接一个最大池化层；在第五层卷积层中，输入为第四层卷积层的输出，进行三次卷积操作，卷积核维度分别为3
ꢀ×ꢀ3ꢀ×ꢀ
512
ꢀ×ꢀ
512、 3
ꢀ×ꢀ3ꢀ×ꢀ
512
ꢀ×ꢀ
512和3
ꢀ×ꢀ3ꢀ×ꢀ
512
ꢀ×ꢀ
512，在每次卷积后都是用一次 dropout 函数， keep prob 设定为 0.8；在所有卷积操作中，步长都设定为 1，激活函数都是 relu， padding模式都设定为 SAME；在所有的池化操作中，池化核维度都为2
ꢀ×ꢀ
2；经 过五层卷积层和 4 层池化层后，最终输出维度为8
ꢀ×ꢀ8ꢀ×ꢀ
512的特征图。3....

【专利技术属性】
技术研发人员：魏倩茹，赵鑫，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：