【技术实现步骤摘要】
本专利技术涉及跨模态检索领域，具体涉及一种海洋遥感图像音频检索网络训练方法及应用方法。
技术介绍
1、目前针对海洋遥感图像文本检索方法的研究已经相对成熟，但在真实场景中，例如海上灾害监测和海上救援辅助定位等场景下，音频的输入更符合人类的习惯，且更为便捷。
2、由于图像和音频分属于数据的两种模态，而现有的跨模态检索方式在处理图像音频检索时存在一些问题：比如对显著区域的关注会忽略图像中不那么显著但对检索性能十分重要的区域，进而难以提取到全面的图像特征，导致检索准确度降低；此外，不同模态间排序结果存在差异性，会对相似性矩阵造成影响，也会降低检索的准确度。
技术实现思路
1、有鉴于此，有必要提供一种海洋遥感图像音频检索网络训练方法及应用方法，用于解决现有技术忽略图像中部分非显著区域特征，且由于不同模态间排序结果存在差异性，导致检索准确度较低的技术问题。
2、为了解决上述问题，一方面，本专利技术提供了一种海洋遥感图像音频检索网络训练方法，包括：
3、获取海洋遥感图像音频数据集，海洋遥感图像音频数据集包括海洋遥感图像数据和音频数据；
4、构建初始海洋遥感图像音频检索网络，将海洋遥感图像音频数据集输入初始海洋遥感图像音频检索网络，初始海洋遥感图像音频检索网络对音频数据进行音频特征提取得到音频特征，对海洋遥感图像数据进行视觉编码得到初始视觉特征，对初始视觉特征进行区域增强学习得到增强视觉特征，对音频特征和增强视觉特征进行模态特征对齐，并预测输出相似性
5、基于自适应知识迁移构建总损失函数，根据重排序相似性确定总损失函数的值，迭代训练初始海洋遥感图像音频检索网络，直到损失函数收敛，得到训练完备的海洋遥感图像音频检索网络。
6、进一步的，对音频数据进行音频特征提取得到音频特征，包括：
7、对音频数据进行语言信号采样和短时傅里叶变换，并进行频谱映射得到音频矩阵；
8、将音频矩阵通过残差网络、平均池化层和全连接层提取得到音频特征。
9、进一步的，对海洋遥感图像数据进行视觉编码得到初始视觉特征，包括：
10、基于多尺度融合对海洋遥感图像数据进行特征提取得到初始视觉特征。
11、进一步的，对初始视觉特征进行区域增强学习得到增强视觉特征，包括：
12、将初始视觉特征作为第一抑制区域注意力引导图，对第一抑制区域注意力引导图进行卷积得到第一特征注意图；
13、将第一特征注意图经过激活函数和标准化后与第一抑制区域注意力引导图点乘得到第二抑制区域注意力引导图，对第一抑制区域注意力引导图经过激活函数、标准化操作和点乘第一抑制区域注意力引导图后进行卷积得到第二特征注意图；
14、将第二特征注意图经过激活函数和标准化后与第二抑制区域注意力引导图点乘得到第三抑制区域注意力引导图，对第二抑制区域注意力引导图经过激活函数、标准化操作和点乘第二抑制区域注意力引导图后进行卷积得到第三特征注意图；
15、拼接第一特征注意图、第二特征注意图和第三特征注意图，并经过平均池化和全连接层得到增强视觉特征。
16、进一步的，对音频特征和增强视觉特征进行模态特征对齐，并预测输出相似性矩阵，包括：
17、基于交互式对齐模块对音频特征和增强视觉特征进行模态特征对齐得到对齐特征；
18、对对齐特征进行预测输出得到各海洋遥感图像数据和音频数据对应的相似性矩阵。
19、进一步的，对相似性矩阵进行双向排序加权融合重排序得到重排序相似性，包括：
20、根据相似性矩阵确定正向检索结果排序，根据正向检索结果排序确定反向检索结果排序，对正向检索结果排序和反向检索结果排序进行自适应权重量化计算得到量化排序结果；
21、对相似性矩阵进行重校准得到源相似性置信度；
22、根据量化排序结果和源相似性置信度得到重排序相似性。
23、进一步的，基于自适应知识迁移构建总损失函数，包括：
24、基于平滑平均绝对误差损失设置自适应知识迁移初始损失项，并对自适应知识迁移初始损失项加入动态权重矩阵得到自适应知识迁移项；
25、构建双向三元项和对比学习项，合并自适应知识迁移项、双向三元项和对比学习项得到海洋遥感图像音频检索网络的总损失函数。
26、另一方面，本专利技术还提供了一种海洋遥感图像音频检索网络应用方法，包括：
27、获取待检索海洋遥感图像和/或音频；
28、将待检索海洋遥感图像和/或音频输入到训练完备的海洋遥感图像音频检索网络，得到海洋遥感图像和音频检索结果；
29、其中，训练完备的海洋遥感图像音频检索网络根据上述的海洋遥感图像音频检索网络训练方法确定。
30、另一方面，本专利技术还提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述的海洋遥感图像音频检索网络训练方法，和/或上述的海洋遥感图像音频检索网络应用方法。
31、另一方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述的海洋遥感图像音频检索网络训练方法，和/或上述的海洋遥感图像音频检索网络应用方法。
32、与现有技术相比，采用上述实施例的有益效果是：本专利技术通过区域增强学习在区域级别上学习图像的特征，获取更全面的海洋遥感图像特征表示；并基于自适应知识迁移减小不同模态之间表征的差异性，以提高海洋遥感图像音频检索网络的准确度。
本文档来自技高网...【技术保护点】
1.一种海洋遥感图像音频检索网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述音频数据进行音频特征提取得到音频特征，包括：
3.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述海洋遥感图像数据进行视觉编码得到初始视觉特征，包括：
4.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述初始视觉特征进行区域增强学习得到增强视觉特征，包括：
5.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述音频特征和所述增强视觉特征进行模态特征对齐，并预测输出相似性矩阵，包括：
6.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述相似性矩阵进行双向排序加权融合重排序得到重排序相似性，包括：
7.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述基于自适应知识迁移构建总损失函数，包括：
8.一种海洋遥感图像音频检索网络应
9.一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现根据权利要求1至7任一项所述的海洋遥感图像音频检索网络训练方法，和/或根据权利要求8所述的海洋遥感图像音频检索网络应用方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1至7任一项所述的海洋遥感图像音频检索网络训练方法，和/或根据权利要求8所述的海洋遥感图像音频检索网络应用方法。
...【技术特征摘要】
1.一种海洋遥感图像音频检索网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述音频数据进行音频特征提取得到音频特征，包括：
3.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述海洋遥感图像数据进行视觉编码得到初始视觉特征，包括：
4.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述初始视觉特征进行区域增强学习得到增强视觉特征，包括：
5.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述音频特征和所述增强视觉特征进行模态特征对齐，并预测输出相似性矩阵，包括：
6.根据权利要求1所述的海洋遥感图像音频检索网络训练方法，其特征在于，所述对所述相...
【专利技术属性】
技术研发人员：陈亚雄，李小玉，黄景灏，刘江，熊盛武，
申请(专利权)人：武汉理工大学三亚科教创新园，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。