本发明专利技术公开一种海洋遥感图文检索方法、装置、电子设备及存储介质，包括如下步骤：首先，获取海洋遥感图像和海洋遥感相关文本数据，将数据划分为训练集以及验证集，其次，建立海洋遥感图文检索模型，其中，海洋遥感图文检索模型至少包括海洋遥感图像特征提取模块、文本特征提取模块、双向指导模块、全局对齐模块和总相似度计算模块；采用训练集对海洋遥感图文检索模型进行训练，采用验证集对训练后的海洋遥感图文检索模型进行优化，以得到训练完备的海洋遥感图文检索模型，最后，获取待检索数据，将待检索数据输入至训练完备的海洋遥感图文检索模型中，以获得与待检索数据相关的遥感图像数据或与待检索数据相关的文本数据，提高了跨模态检索精度。
【技术实现步骤摘要】
本专利技术涉及智慧海洋，具体涉及一种海洋遥感图文检索方法、装置、电子设备及存储介质。
技术介绍
1、智慧海洋技术是基于遥感数据的智能化海洋资源管理和监测的一种应用；随着海量遥感数据的日益发展，智慧海洋技术成为研究人员迫切关注的问题，智慧海洋技术的目标是从大量的遥感数据中挖掘有效的海洋知识，以支持海洋资源管理、海洋环境监测和海洋决策制定等工作，而跨模态遥感图文检索是智慧海洋技术中的重要研究内容之一。
2、对于广泛分布着多个目标的海洋遥感图像，现有的跨模态海洋遥感图像-文本检索方法往往难以聚焦于远距离目标信息，因为采用的卷积运算可能导致关注视野有限；现有方法并未充分利用得到的局部特征。尽管进行了局部和全局的融合，但仍有局部信息丢失的问题；现有方法主要关注学习有效的海洋文本和海洋遥感图像表示，以实现全局语义对齐，但忽略了细粒度的语义对齐，在智慧海洋中，缺乏细粒度的模态间显式交互对齐，可能导致海洋遥感图像和文本之间的对齐不足，从而影响跨模态海洋遥感图文检索的精度。
技术实现思路
1、本专利技术的目的在于克服上述技术不足，提供一种海洋遥感图文检索方法、装置、电子设备及存储介质，解决现有技术中跨模态海洋遥感图文检索精度不高的技术问题。
2、为达到上述技术目的，本专利技术采取了以下技术方案：
3、第一方面、本专利技术提供一种海洋遥感图文检索方法，包括如下步骤：
4、获取海洋遥感图像和海洋遥感相关文本数据，将所述数据划分为训练集以及验证集；
<
p>5、建立海洋遥感图文检索模型，其中，所述海洋遥感图文检索模型至少包括海洋遥感图像特征提取模块、文本特征提取模块、双向指导模块、全局对齐模块和总相似度计算模块，所述海洋遥感图像特征提取模块用于提取海洋遥感图像的细粒度特征和整体特征，所述文本特征提取模块用于提取海洋遥感文本的细粒度特征和整体特征，基于所述海洋遥感图像以及文本的细粒度特征，利用所述双向指导模块对所述图像以及文本的细粒度特征进行对齐，以获得对齐后的细粒度相似度得分，所述全局对齐模块用于对所述海洋遥感图像以及文本的整体特征进行对齐，以获得全局相似度得分，所述总相似度计算模块用于确定海洋遥感图像和文本的总相似度，所述全局相似度得分的计算式为：6、，
7、其中，为全局相似度得分，为图像整体特征，为文本整体特征，表示向量的模；
8、所述海洋遥感图像和文本的总相似度计算式为：
9、，
10、其中，为海洋遥感图像和文本的总相似度，为决定全局相似度得分的影响程度的权重因子，为决定局部相似度得分的影响程度的权重因子，为全局相似度得分，为图像引导文本学习的最终相似度得分，为文本引导图像学习的最终相似度得分；
11、采用所述训练集对所述海洋遥感图文检索模型进行训练，采用所述验证集对所述训练后的海洋遥感图文检索模型进行优化，以得到训练完备的海洋遥感图文检索模型；
12、获取待检索数据，将所述待检索数据输入至所述训练完备的海洋遥感图文检索模型中，以获得与待检索数据相关的遥感图像数据或与待检索数据相关的文本数据。
13、在其中一些实施例中，所述海洋遥感图像特征提取模块包括第一提取模块、第二提取模块、第三提取模块、第四提取模块，其中，每个所述提取模块至少包括输入层以及输出层，其中，输入层至少包括patch嵌入层，输出层至少包括transformer编码层；所述海洋遥感图像特征提取模块提取海洋遥感图像的细粒度特征和整体特征，包括：
14、将海洋遥感图像数据输入第一提取模块中的patch嵌入层，经过线性投影层和归一化操作后，获得特征向量；
15、将所述特征向量线性映射后，获得查询向量；
16、通过具有层归一化操作和线性投影的卷积层对所述特征向量进行操作，以获得一个键向量和值向量；
17、采用多头注意机制对所述查询向量、键向量以及值向量进行编码，以获得多头注意机制的值；
18、对所述特征向量以及多头注意机制的值进行加法操作，以完成transformer编码器层的输出；
19、经过所述第二提取模块、第三提取模块以及第四提取模块处理后，获得海洋遥感图像细粒度特征；
20、将所述海洋遥感图像细粒度特征馈送至线性投影中，以获得海洋遥感图像的整体特征。
21、在其中一些实施例中，所述文本特征提取模块至少包括bert模型，所述文本特征提取模块提取海洋遥感文本的细粒度特征和整体特征，包括：
22、对所述海洋遥感文本进行分词操作，并分别在分词结果的开始和结束处插入cls和sep标记后，构建输入向量，以作为bert模型的输入；
23、获取预训练好的bert模型的中间输出结果，将所述中间输出结果输入至线性投影层，以获得海洋遥感文本细粒度特征；
24、将预训练好的bert模型在cls处输出的向量输入至线性投影层，以获得海洋遥感文本整体特征。
25、在其中一些实施例中，所述对齐后的细粒度相似度得分至少包括文本引导图像学习的最终相似度得分以及图像引导文本学习的最终相似度得分；基于所述海洋遥感图像以及文本的细粒度特征，利用所述双向指导模块对所述图像以及文本的细粒度特征进行对齐，以获得对齐后的细粒度相似度得分，包括：
26、基于所述海洋遥感图像以及文本的细粒度特征，通过余弦相似度函数确定局部之间的相似度后，获得相似度矩阵；
27、对所述相似度矩阵进行归一化处理，以确定文本引导图像学习的归一化相似性；
28、基于所述文本引导图像学习的归一化相似性，确定句子向量；
29、基于所述句子向量，通过所述余弦相似度函数确定句子向量与每个图像区域特征之间的相似度后，获得文本引导图像学习的最终相似度得分；
30、对所述相似度矩阵进行归一化处理，以确定图像引导文本学习的归一化相似性；
31、基于所述图像引导文本学习的归一化相似性，确定图像向量；
32、基于所述图像向量，通过所述余弦相似度函数确定图像向量与单词特征之间的相似度后，获得图像引导文本学习的最终相似度得分。
33、在其中一些实施例中，所述文本引导图像学习的最终相似度得分的计算式：
34、，
35、其中，为文本引导图像学习的最终相似度得分，为句子向量，为每个图像区域特征，为句子向量与每个图像区域特征之间的相似度，为图片包含的区域数，为边界参数；
36、所述图像引导文本学习的最终相似度得分的计算式为：
37、，
38、其中，为图像引导文本学习的最终相似度得分，为图像向量，为单词特征，为图像向量与单词特征之间的相似度，为句子包含的单词数。
39、第二方面、本专利技术还提供一种海洋遥感图文检索装置，包括：
40、数据获取模块,用于获取海洋遥感图像和海洋遥感相关文本数据，将所述数据划分为训练集以及验证集；<本文档来自技高网
...
【技术保护点】
1.一种海洋遥感图文检索方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的海洋遥感图文检索方法，其特征在于，所述海洋遥感图像特征提取模块至少包括第一提取模块、第二提取模块、第三提取模块、第四提取模块，其中，每个所述提取模块至少包括输入层以及输出层，其中，输入层至少包括patch嵌入层，输出层至少包括Transformer编码器；所述海洋遥感图像特征提取模块提取海洋遥感图像的细粒度特征和整体特征，包括：
3.根据权利要求1所述的海洋遥感图文检索方法，其特征在于，所述文本特征提取模块至少包括Bert模型，所述文本特征提取模块提取海洋遥感文本的细粒度特征和整体特征，包括：
4.根据权利要求1所述的海洋遥感图文检索方法，其特征在于，所述对齐后的细粒度相似度得分至少包括文本引导图像学习的最终相似度得分以及图像引导文本学习的最终相似度得分；基于所述海洋遥感图像以及文本的细粒度特征，利用所述双向指导模块对所述图像以及文本的细粒度特征进行对齐，以获得对齐后的细粒度相似度得分，包括：
5.根据权利要求4所述的遥感图文检索方法，其特征在于，所述文本引导图像学习的最终相似度得分的计算式：
6.一种海洋遥感图文检索装置，其特征在于，包括：
7.一种电子设备，其特征在于，包括：处理器和存储器；
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-5任意一项所述的海洋遥感图文检索方法中的步骤。
...
【技术特征摘要】
1.一种海洋遥感图文检索方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的海洋遥感图文检索方法，其特征在于，所述海洋遥感图像特征提取模块至少包括第一提取模块、第二提取模块、第三提取模块、第四提取模块，其中，每个所述提取模块至少包括输入层以及输出层，其中，输入层至少包括patch嵌入层，输出层至少包括transformer编码器；所述海洋遥感图像特征提取模块提取海洋遥感图像的细粒度特征和整体特征，包括：
3.根据权利要求1所述的海洋遥感图文检索方法，其特征在于，所述文本特征提取模块至少包括bert模型，所述文本特征提取模块提取海洋遥感文本的细粒度特征和整体特征，包括：
4.根据权利要求1所述的海洋遥感图文检索方法，其特征在于，所述对齐后的细...
【专利技术属性】
技术研发人员：陈亚雄，黄吉瑞，龚腾飞，熊盛武，袁景凌，
申请(专利权)人：武汉理工大学三亚科教创新园，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。