一种基于变分信息瓶颈的跨视角地理图像检索方法技术

本发明专利技术公开了一种基于变分信息瓶颈的跨视角地理图像检索方法，涉及计算机视觉中的跨视角地理图像检索技术领域，以往检索模型的分类器在训练过程中会很快收敛，导致其产生的梯度包含的信息过少而不能有效的对特征提取模块进行训练，导致检索模型容易过拟合，在测试的数据集上表现不佳；本发明专利技术使用变分信息瓶颈模块在训练过程中对分类器添加高斯噪声，迫使特征提取模块提取具有视图不变性的和判别性的图像表示，来提升检索模型的泛化能力和鲁棒性，并使用变分信息瓶颈模块压缩后的特征作为检索特征；从而达到提高检索结果准确性的目的。的。的。

【技术实现步骤摘要】
一种基于变分信息瓶颈的跨视角地理图像检索方法


[0001]本专利技术涉及计算机视觉中的跨视角地理图像检索
，更具体地是涉及一种基于变分信息瓶颈的跨视角地理图像检索方法。

技术介绍

[0002]跨视角地理图像检索是从地面视角或卫星视角等不同视角对图像中相同的地理目标进行检索匹配，例如，给定一个地面视角查询图像，在卫星视角的候选图像中搜索相同地理目标的卫星图像。它有着广泛的运用，如无人驾驶，其要求实现精确的地理目标定位，因此有着极大地应用价值和经济效益。
[0003]跨视角地理图像检索是一个具有挑战性的任务，因为极端的视角变化引起视觉外观的巨大变化；近几年来，跨视角地理图像检索任务得到了巨大的发展。
[0004]传统的方法侧重于挖掘图像中心地理目标的特征表示，但忽略了图像相邻区域上下文信息的重要性。因此有方法提出利用图像中心地理目标的相邻区域作为辅助信息，丰富判别线索，它显著的提升了检索效果。而本专利技术基于变分信息瓶颈模块实现，可以对特征提取模块的输出结果添加高斯噪声，使得分类器能够对噪声具有鲁棒性，迫使特征提取模块具有提取视图不变性的、判别性的图像表示，从而提升基于变分信息瓶颈的跨视角地理图像检索模型的泛化能力。

技术实现思路

[0005]本专利技术的目的在于：提供一种基于变分信息瓶颈的跨视角地理图像检索方法，通过提升检索模型的泛化能力和鲁棒性、并使用变分信息瓶颈模块压缩后的特征作为检索特征；得到具有视图不变性的、判别性的图像表示作为检索特征，从而达到提高检索结果准确性的目的。<br/>[0006]本专利技术为了实现上述目的具体采用以下技术方案：一种基于变分信息瓶颈的跨视角地理图像检索方法，包括如下步骤：步骤S1：选择常用的跨视角地理图像数据集，其中包括train数据集和val数据集，它有两个视角的图像，分别为地面视角图像和卫星视角图像；步骤S2：训练基于变分信息瓶颈的跨视角地理图像检索模型；步骤S3：基于变分信息瓶颈的跨视角地理图像检索模型测试；选择任意一个地面视角图像，输入到步骤S2得到的基于变分信息瓶颈的跨视角地理图像检索模型，得到输出特征Z
ij
的均值 Ｕ
ij
，将Ｕ
ij
按行拼接得到特征作为检索特征，从而检索出与地面视角图像具有相同目标的卫星视角图像。
[0007]作为优选的技术方案，所述基于变分信息瓶颈的跨视角地理图像检索模型包括特征提取模块、变分信息瓶颈模块和分类器模块；特征提取模块：是在ImageNet数据集上预训练的ResNet
‑
50模型来提取输入图像的特征；
变分信息瓶颈模块：是由一个编码器组成的，变分信息瓶颈的输入是V
ij
，编码器有两个线性层作为输出层，维度大小为512，输出的两个特征向量分别作为变分信息瓶颈模块学习的均值和方差；分类器模块依次由全连接层、批处理归一化层、Dropout层和线性分类层组成，线性分类层的维度大小为分类目标的类别个数。
[0008]作为优选的技术方案，特征提取模块采用方环特征分区策略提取图像特征，根据图像周围区域到图像中心的距离提供注意力，丰富图像特征的判别线索。
[0009]作为优选的技术方案，特征提取模块具体操作为：将输入图像x
j
调整为固定大小256
×
256，输入特征提取模块，得到图像特征R
j
，其中x
j
∈｛x
d
，x
s
｝, x
d
与x
s
分别代表两个不同的视角，x
d
代表地面视角，x
s
代表卫星视角；然后使用方环特征分区设计，将特征图分成i个方环部分，记为R
ij
=P
slice
（R
j
，i），然后每个部分都经过平均池化得到维度为2048的特征R
ij
，记为V
ij
=Avgpool(R
ij
), 其中P
slice
为方环特征分区操作，Avgpool为平均池化操作。
[0010]作为优选的技术方案，所述步骤S2具体包括：步骤S2.1：使用特征提取模块提取train数据集的图像特征，特征提取模块的输入为不同视角的两个图像，记为地面视角图像x
d
和卫星视角图像x
s
；步骤S2.2：地面视角图像x
d
输入特征提取模块得到图像特征R
d
；利用方环特征分区策略，再经过平均池化得到各部分的特征V
id
；步骤S2.3：卫星视角图像x
s
和地面视角图像x
d
操作处理流程一样，得到卫星视角图像的特征V
is
；步骤S2.4：将步骤S2.2和步骤S2.3得到的两个视角的输入特征V
id
和V
iS
输入变分信息瓶颈模块，得到各自的均值和方差，然后进行重参数得到输出特征Z
id
和Z
is
：步骤S2.5：重参数操作具体为将变分信息瓶颈模块学习的均值和方差和在正态分布N(0，I）中采样一个ε，按照如下公式进行重参数，I的维度大小与输出特征Z
id
和Z
is
维度大小一样；Z=μ+σ*ε其中μ表示均值，σ表示方差，ε代表从正态分布N(0，I）中随机采样一个数值，作为添加的高斯噪声，对分类器的训练添加扰动；步骤S2.6：将步骤S2.5经过重采样得到的两个图像特征Z
id
和Z
is
输入分类器模块，计算分类损失；步骤S2.7：旨在增强基于变分信息瓶颈的跨视角地理图像检索模型的泛化能力和鲁棒性，也为了防止变分信息瓶颈模块训练输出的方差为零，根据输出特征Z
id
的均值与方差计算：Z
id
与标准正态分布的KL距离，输出特征Z
is
也进行同样的计算，由参数β控制计算的KL距离损失在总损失函数当中的比重；具体为：计算输出特征Z
id
和Z
is
与标准正态分布的KL距离，最终整个基于变分信息瓶颈的跨视角地理图像检索模型的总损失函数具体公式L
VIB
如下：L
VIB
=L
cls
+β*D
KL
[[p(Z|x), r(z)]]其中D
KL
代表计算KL距离，r(z)代表先验分布，此处为正态分布，p(Z|x)表示输入图像x的特征Z的预测分布，具体数值包括基于变分信息瓶颈的跨视角地理图像检索模型学习
的均值和方差，β为权重超参数，将在具体实施案例中设置具体数值，L
cls
为交叉熵分类损失函数；步骤S2.8：利用随机梯度下降法对基于变分信息瓶颈的跨视角地理图像检索模型总损失函数L
VIB
进行优化求解，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于变分信息瓶颈的跨视角地理图像检索方法，其特征在于，包括如下步骤：步骤S1：选择常用的跨视角地理图像数据集，其中包括train数据集和val数据集，它有两个视角的图像，分别为地面视角图像和卫星视角图像；步骤S2：训练基于变分信息瓶颈的跨视角地理图像检索模型；步骤S3：基于变分信息瓶颈的跨视角地理图像检索模型测试；选择任意一个地面视角图像，输入到步骤S2得到的基于变分信息瓶颈的跨视角地理图像检索模型，得到输出特征Z
ij
的均值Ｕ
ij
，将Ｕ
ij
按行拼接得到特征作为检索特征，从而检索出与地面视角图像具有相同目标的卫星视角图像。2.根据权利要求1所述的一种基于变分信息瓶颈的跨视角地理图像检索方法，其特征在于，所述基于变分信息瓶颈的跨视角地理图像检索模型包括特征提取模块、变分信息瓶颈模块和分类器模块；特征提取模块：是在ImageNet数据集上预训练的ResNet
‑
50模型来提取输入图像的特征；变分信息瓶颈模块：是由一个编码器组成的，变分信息瓶颈的输入是V
ij
，编码器有两个线性层作为输出层，维度大小为512，输出的两个特征向量分别作为变分信息瓶颈模块学习的均值和方差；分类器模块依次由全连接层、批处理归一化层、Dropout层和线性分类层组成，线性分类层的维度大小为分类目标的类别个数。3.根据权利要求2所述的一种基于变分信息瓶颈的跨视角地理图像检索方法，其特征在于，特征提取模块采用方环特征分区策略提取图像特征，根据图像周围区域到图像中心的距离提供注意力，丰富图像特征的判别线索。4.根据权利要求3所述的一种基于变分信息瓶颈的跨视角地理图像检索方法，其特征在于，特征提取模块具体操作为：将输入图像x
j
调整为固定大小256
×
256，输入特征提取模块，得到图像特征R
j
，其中x
j
∈｛x
d
，x
s
｝, x
d
与x
s
分别代表两个不同的视角，x
d
代表地面视角，x
s
代表卫星视角；然后使用方环特征分区设计，将特征图分成i个方环部分，记为R
ij
=P
slice
（R
j
，i），然后每个部分都经过平均池化得到维度为2048的特征R
ij
，记为V
ij
=Avgpool(R
ij
), 其中P
slice
为方环特征分区操作，Avgpool为平均池化操作。5.根据权利要求1所述的一种基于变分信息瓶颈的跨视角地理图像检索方法，其特征在于，所述步骤S2具体包括：步骤S2.1：使用特征提取模块提取train数据集的图像特征，特征提取模块的输入为不同视角的两个图像，记为地面视角图像x
d
和卫星视角图像x
s
；步骤S2.2：地面视角图像...

【专利技术属性】
技术研发人员：徐行，胡谦，李宛思，沈复民，申恒涛，
申请(专利权)人：成都考拉悠然科技有限公司，
类型：发明
国别省市：