【技术实现步骤摘要】
本专利技术涉及一种遥感图文检索方法，具体是一种局部特征与全局特征融合的跨模态遥感图文检索方法，属于遥感图像处理。
技术介绍
1、遥感技术是一种探测技术，其作为一种重要的数据获取和处理手段，是应用各种传感仪器对远距离目标所辐射和反射的电磁波信息进行收集处理并最后成像，从而对地面各种景物进行探测和识别的一种综合技术，通过遥感技术可查询到高分辨率遥感影像。高效、系统、合理的遥感影像检索技术，有助于为环境监测、城市规划、农业管理以及灾害应急等场景提供可靠的支撑，但如何有效利用迅速膨胀且来源复杂的海量化遥感影像数据已经成为一个不可忽视的挑战。
2、遥感影像图文检索目的是在多模态遥感影像数据库中，精准定位与查询图像匹配的文本描述或是根据标题描述寻找对应图像。在面临多源和多模态遥感影像数据时，高效和精准地检索目标模态数据成为了研究热点和难点。目前，基于双塔神经网络的跨模态遥感图文检索及装置已经逐渐成为技术的热点，然而由于多模态之间的差异及对齐的困难性，因此难以准确做到跨模态的遥感图文检索。设计高效且准确的遥感影像检索方法是目前亟待解决的问题。
3、当前的基于深度学习的图文检索方法主要集中于处理遥感图像的全局特征。这种方法的局限性在于，它可能无法准确检索图像中的某些关键区域，并且对于一些特定单词的语义，可能无法找到与之相对应的图像区域。此外，这些方法通常忽略了局部特征与全局特征的综合学习，导致区域特征与整体上下文之间的联系不够紧密。这种缺陷使得图文检索结果与非对象相关的语境词匹配度不高。
4、另外，检索过程是
技术实现思路
1、针对上述现有技术存在的问题，本专利技术提供一种局部特征与全局特征融合的跨模态遥感图文检索方法，能够通过局部信息修正全局信息、利用全局信息补充局部信息，进而能够更准确的检索希望得到的遥感数据。
2、为实现上述目的，本局部特征与全局特征融合的跨模态遥感图文检索方法具体包括以下步骤：
3、step1，使用包含多层次视觉注意力机制的卷积神经网络对输入图像进行全局特征提取，得到全局特征向量，其中，为包含多层次视觉注意力机制的卷积神经网络，为输入图像；
4、step2，采用目标检测网络对遥感图像中的目标进行识别、并获取局部目标，其中，为输入图像的第 j类的局部目标， d为目标检测网络；然后通过图神经网络对检测到的目标区域进行深度学习，得到局部特征向量，其中， g为图神经网络特征提取器；
5、step3，先将全局特征向量与局部特征向量进行内部相似性计算，然后通过交叉注意力机制 ca对处理后的全局特征向量与局部特征向量进行动态加权融合，得到完整的图像特征向量；
6、step4，先使用递归神经网络对输入文本进行建模，然后通过多层感知机得到文本特征向量；
7、step5，计算加权融合后图像特征与文本特征之间的相似性度量，按照从大到小顺序对检索结果进行排序；
8、step6，利用候选信息进行反向检索并得到最终检索结果。
9、进一步的，step3具体过程如下：
10、step3-1，全局特征向量与局部特征向量进行内部相似性计算，得到更细粒度的特征向量与：其中， ma为多头注意力机制，和为原始全局向量与局部向量；
11、step3-2，通过交叉注意力机制 ca，对处理后的全局特征向量与局部特征向量进行动态加权融合，进一步得到处理后的全局特征向量与局部特征向量：
12、step3-3，使用局部特征生成掩码来过滤全局特征，同时使用全局特征直接补充局部特征：
13、其中，为动态可更新的权重；
14、step3-4，将全局特征与局部特征进行特征叠加，得到混合视觉信息：
15、step3-5，对混合视觉信息进行线性变换得到可学习的动态权重，并进一步更新融合后的特征，最终得到全局特征向量与局部特征向量融合的视觉向量：
16、和为权重矩阵。
17、进一步的，step4具体过程如下：
18、将输入文本进行单词级别的嵌入，形成单词向量序列，随后将该序列输入递归神经网络，实现对文本的逐层处理：，其中，跟分别表示前向与后向递归神经网络，表示第 i层的隐藏状态；
19、通过多层感知机形成文本特征向量如下：，其中， t表示生成后的文本特征向量， mlp表示多层感知机。
20、进一步的，step5中按照从大到小顺序对检索结果进行排序如下：
21、，其中，为最小边际，为配对图像文本对，为未配对图像文本对。
22、进一步的，step6中，进行图像到文本的查询时，具体如下：
23、根据与查询图像最相似的 k个文本计算出查询分量：，其中，为排名系数，为候选文本排名；
24、使用得到的候选文本进行反向搜索，如果查询图像位于 l个最邻近的图像中，计算出查询分量：，其中为候选图像排名，若不在 l个最邻近的图像中，则查询分量为0；
25、定义显著性分量来量化模型的相似性程度，显著性分量表达式如下：，对于反向检索中的候选文本，与图像的相似性比例越高，其确定度就越高。
26、与现有技术相比，本局部特征与全局特征融合的跨模态遥感图文检索方法具有以下优点：
27、1、本专利技术采用基于局部特征与全局特征融合，通过局部信息修正全局信息，利用全局信息补充局部信息，能够提高跨模态遥感图文的检索性能，可以更准确地检索希望得到的遥感数据；
28、2、本专利技术通过过滤具有高相似性的冗余特征，以增强并突出目标的特征，减轻冗余目标关系对模型造成的压力，提高模型对突出实例的关注度，从而能够获得更卓越的视觉表征；
29、3、本专利技术可以充分利用相似性矩阵中的信息以使检索结果得到二次优化，后处理算法本文档来自技高网...
【技术保护点】
1.一种局部特征与全局特征融合的跨模态遥感图文检索方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的局部特征与全局特征融合的跨模态遥感图文检索方法，其特征在于，Step3具体过程如下：
3.根据权利要求2所述的局部特征与全局特征融合的跨模态遥感图文检索方法，其特征在于，Step4具体过程如下：
4.根据权利要求3所述的局部特征与全局特征融合的跨模态遥感图文检索方法，其特征在于，Step5中按照从大到小顺序对检索结果进行排序如下：，其中，为最小边际，为配对图像文本对，为未配对图像文本对。
5.根据权利要求4所述的局部特征与全局特征融合的跨模态遥感图文检索方法，其特征在于，Step6中，进行图像到文本的查询时，具体如下：
【技术特征摘要】
1.一种局部特征与全局特征融合的跨模态遥感图文检索方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的局部特征与全局特征融合的跨模态遥感图文检索方法，其特征在于，step3具体过程如下：
3.根据权利要求2所述的局部特征与全局特征融合的跨模态遥感图文检索方法，其特征在于，step4具体过程如下：
【专利技术属性】
技术研发人员：赵作鹏，缪小然，刘营，高宇蒙，闵冰冰，胡建峰，贺晨，赵广明，周杰，孙守都，宋喷玉，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。