基于深度哈希的多源遥感影像检索方法技术

一种基于深度哈希的多源遥感影像检索方法，采用多源遥感影像训练样本集对多分支轻量化深度哈希编码网络进行训练，将训练后的网络用于多源遥感影像的哈希编码并对编码结果进行相似性度量，实现多源遥感影像检索。本发明专利技术通过多分支轻量化深度哈希编码网络，使用不同结构的深度神经网络分别对全色影像和多光谱影像进行深度特征提取，并采用参数共享的哈希映射层对相应的深度特征进行哈希编码；根据最大后验估计，设计贝叶斯多项损失函数，可胜任海量多源遥感影像的快速检索。海量多源遥感影像的快速检索。海量多源遥感影像的快速检索。

【技术实现步骤摘要】
基于深度哈希的多源遥感影像检索方法


[0001]本专利技术涉及的是一种遥感影像应用领域的技术，具体是一种基于深度哈希的多源遥感影像检索方法。

技术介绍

[0002]随着对地观测技术的飞速发展，遥感大数据时代的到来，从海量的遥感影像中快速找到感兴趣的目标或地物的遥感影像检索已经成为充分发挥遥感影像应用价值的一个关键技术。传统的基于内容的遥感影像检索一般提取的是人工设计的特征，如SIFT+BoW、GIST等。但由于不同来源的遥感影像通常具有不同的空间分辨率、光谱分辨率，这些人工设计的特征往往很难捕获不同来源遥感影像中目标或地物的特征，难以胜任遥感大数据时代的海量遥感影像检索的需要。
[0003]深度哈希检索方法通过设计深度神经网络，以自学习的方式从遥感影像中学习得到其所包含的目标或地物的深度特征并进行深度哈希编码，再利用近似最近邻方法通过深度哈希码之间的相似性来实现检索。但现有深度哈希图像检索方法如CNNH和CNNH+，以及DNNH、DHN、DCH等方法虽然进一步提升了图像检索的性能，但这些技术仅能用于单源(同一卫星)遥感影像的检索，无法胜任多源遥感影像的检索。

技术实现思路

[0004]本专利技术针对现有技术存在的上述不足，提出一种基于深度哈希的多源遥感影像检索方法，通过多分支轻量化深度哈希编码网络分别对全色影像和多光谱影像进行深度特征提取，并采用参数共享的哈希映射层对相应的深度特征进行哈希编码；根据最大后验估计，设计贝叶斯多项损失函数，可胜任海量多源遥感影像的快速检索。
[0005]本专利技术是通过以下技术方案实现的：
[0006]本专利技术涉及一种基于深度哈希的多源遥感影像检索方法，采用多源遥感影像训练样本集对多分支轻量化深度哈希编码网络进行训练，将训练后的网络用于多源遥感影像的哈希编码并对编码结果进行相似性度量，实现多源遥感影像检索。
[0007]所述的多分支轻量化深度哈希编码网络，包括：使用pytorch深度学习框架构建的全色深度哈希编码网络和多光谱深度哈希编码网络，其中：全色深度哈希编码网络根据全色遥感影像提取出全色遥感影像特征，并对提取出的特征进行哈希编码。多光谱深度哈希编码网络根据多光谱遥感影像提取出多光谱遥感影像特征，并对提取出的特征进行哈希编码。
[0008]所述的全色深度哈希编码网络使用全卷积结构，包括：五个子模块以及哈希映射层，其中：第一至第三子模块均包括二维卷积层、LeakyReLU层和二维平均池化层，第四和第五子模块均包括瓶颈模块、LeakyReLU层和二维平均池化层。哈希映射层对提取出的特征进行哈希编码得到对应的哈希码。
[0009]所述的多光谱深度哈希编码网络包括：若干个并联的通道融合模块和经过预训练
的AlexNet和哈希映射层，其中：不同卫星的多光谱影像数据采用不同的通道融合模块，以便更好地保留相似的特征，减少不同卫星带来的差异，得到更高质量的通道融合图。哈希映射层对提取出的特征进行哈希编码进而得到对应的哈希码。
[0010]所述的哈希映射层包括：线性映射层和Tanh激活函数，将特征提取网络提取到的n个样本的多维特征向量投影到n
h
维向量空间，得到近似哈希向量构成的矩阵假设特征提取网络得到的特征向量集合X
T
＝[x1，x2，
…
，x
n
]T
，x
i
∈R
1024
，i＝1，2，
…
，n，1024为特征向量维度；则有其中：为哈希映射层通过反向传播更新迭代得到的参数，f
i
是近似哈希向量；再由近似哈希向量构成的矩阵进一步得到哈希码矩阵进一步得到哈希码矩阵其中：b
i
为第i个哈希码。
[0011]所述的全色深度哈希编码网络和多光谱深度哈希编码网络中的哈希映射层之间共享参数该参数在训练过程中通过反向传播更新迭代得到。
[0012]所述的训练，基于最大后验估计设计贝叶斯多项损失函数，同时考虑到了不同源遥感影像之间的相似关系的条件分布，同源遥感影像之间的相似性关系的条件分布，以及近似哈希向量的先验分布；该训练采用的多源遥感影像训练样本集为I＝{I
i
|i＝1，2，
…
，n}，其所含样本对应的标签集合为L＝{l
i
|i＝1，2，
…
，n}，其中l
i
∈{0，1，
…
，c
‑
1}，c是多源遥感影像训练样本集所包含的类别个数，根据两个样本的标签生成对应的相似性标签S
ij
∈{0，1}，当l
i
＝l
j
时，S
ij
＝1；当l
i
≠l
j
时，S
ij
＝0，其中l
i
，l
j
∈L；根据贝叶斯公式，后验概率∈L；根据贝叶斯公式，后验概率其中其中先验分布P(f
i
)表示近似哈希向量f
i
应该接近其对应的哈希码b
i
的概率，σ是超参数；根据的概率，σ是超参数；根据将目标函数改为其等价形式并对该式求对数，可得并将上述公式代入损失函数得：数得：由于max(0，x)函数当x≤0时，梯度为0，导致模型的训练过程缓慢，为了使损失函数更快速地下降，故将max(0，1
‑
exp(
‑
λ*(d(f
i
，f
j
)
‑
margin)))软化为sigmoid(d(f
i
，f
j
)
‑
margin)，并在训练过程中采用margin逐渐增加的策略，使得在训练过程中可以保持较大的梯度，加快损失函数下降的速度；最终损失函数为：过程中可以保持较大的梯度，加快损失函数下降的速度；最终损失函数为：其中：margin为近似哈希向量之间的距离的裕度，用于增加不相似的样本对应的哈希码之间的距离，本质上也是为了增大训练时的梯度，加速训练的过程。所述的相似性度量是指：以待检索的遥感影像输入训练后的多分支轻量化深度哈希编码网络得到对应的哈希码后，计算其与多源遥感影像库的哈希表中各哈希码之间的汉明距离，当存在汉明距离小于等于
2的遥感影像时将其作为检索结果。技术效果
[0013]本专利技术以多源遥感影像数据作为网络的输入进行哈希编码，通过通道融合模块、共享参数的特征提取网络、瓶颈模块等技术大大减少了模型的参数量和计算量，并采用基于贝叶斯公式的多项损失函数来对模型进行训练，使用软化后的条件分布函数和逐渐增加裕度的策略加速了损失函数的收敛，使模型得到的哈希码达到类内间距小、类间间距更大的效果。
附图说明
[0014]图1为本专利技术的流程图；
[0015]图2为多分支轻量化深度哈希编码网络示例图；
[0016]图3为全色深度哈希编码网络细本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度哈希的多源遥感影像检索方法，其特征在于，采用多源遥感影像训练样本集对多分支轻量化深度哈希编码网络进行训练，将训练后的网络用于多源遥感影像的哈希编码并对编码结果进行相似性度量，实现影像检索；所述的多分支轻量化深度哈希编码网络，包括：使用pytorch深度学习框架构建的全色深度哈希编码网络和多光谱深度哈希编码网络，其中：全色深度哈希编码网络根据全色遥感影像提取出全色遥感影像特征，并对提取出的特征进行哈希编码，多光谱深度哈希编码网络根据多光谱遥感影像提取出多光谱遥感影像特征，并对提取出的特征进行哈希编码。2.根据权利要求1所示的基于深度哈希的多源遥感影像检索方法，其特征是，所述的全色深度哈希编码网络使用全卷积结构，包括：五个子模块以及哈希映射层，其中：第一至第三子模块均包括二维卷积层、LeakyReLU层和二维平均池化层，第四和第五子模块均包括瓶颈模块、LeakyReLU层和二维平均池化层，再通过哈希映射层分别对提取出的特征进行哈希编码进而得到对应的哈希码；所述的多光谱深度哈希编码网络包括：若干个并联的通道融合模块和经过预训练的AlexNet和哈希映射层，其中：不同卫星的多光谱影像数据采用不同的通道融合模块，以便更好地保留相似的特征，减少不同卫星带来的差异，得到更高质量的通道融合图，再通过哈希映射层分别对提取出的特征进行哈希编码进而得到对应的哈希码。3.根据权利要求2所示的基于深度哈希的多源遥感影像检索方法，其特征是，所述的全色深度哈希编码网络和多光谱深度哈希编码网络中的哈希映射层之间共享哈希映射层，通过反向传播更新迭代参数4.根据权利要求2或3所示的基于深度哈希的多源遥感影像检索方法，其特征是，所述的哈希映射层包括：线性映射层和Tanh激活函数，将特征提取网络提取到的n个样本的多维特征向量投影到nh维向量空间，得到近似哈希向量构成的矩阵当特征提取网络得到的特征向量集合X
T
＝[x1，x2，...，x
n
]
T
，x
i
∈R
1024
，i＝1，2，...，n，1024为特征向量维度；则有其中：为哈希映射层通过反向传播更新迭代得到的参数，f
i
是近似哈希向量；再由近似哈希向量构成的矩阵进一步得到哈希码矩阵其中：b
i
为第i个哈希码。5.根据权利要求1所示的基于深度哈希的多源遥感影像检索方法，其特征是，所述的训练，基于最大后验估计设计贝叶斯多项损失函数，同时考虑到了不同源遥感影像之间的相似关系的条件分布，同源遥感影像之间的相似性关系的条件分布，以及近似哈希向量的先验分布。6.根据权利要求1或5所示的基于深度哈希的多源遥感影像检索方法，其特征是，所述的训练，采用的多源遥感影像训练样本集为I＝{I
i
|i＝1，2，...，n}，其所含样本对应的标签集合为L＝{l
i
|i＝1，2，...，n}，其中l
i
∈{0，1...

【专利技术属性】
技术研发人员：方涛，崔灿，沙拉依丁，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：