【技术实现步骤摘要】
本专利技术属于图像处理，特别涉及基于频域空间域双重感知的海洋遥感图文检索方法及系统。
技术介绍
1、遥感数据跨模态检索旨在建立不同模态间数据的对应关系，通过融合不同模态的数据，提升遥感数据的对象表示，为遥感数据的应用提供重要的技术支撑。由于文本和图像在表达信息时的直观性和便捷性，遥感图文检索成为了遥感数据跨模态检索的重要手段之一。
2、遥感图文检索利用跨模态检索算法，依据卫星遥感图像自动检索出准确描述该图像的文本数据或是依据给定的文本数据自动检索出数据库中的与之相匹配的遥感图像。目前，遥感图文跨模态检索工作大多是采用基于深度学习的方法来实现，包括两个关键过程，其一，分别对文本数据和图像数据开展特征工程，提取相应的文本特征和图像特征；其二，进行两特征间的相似度计算，将相似度最高的图像特征和文本特征作为最佳检索匹配对。
3、目前，前沿图文检索方法是一种非对称多模态特征匹配网络，致力于利用注意力机制、图卷积网络等显著性挖掘方法过滤图像和文本中的背景冗余信息，提升图文检索的匹配精度。但是，以上方法应用于海洋中仍存在以下问题：为了过滤噪声信息，现有方法大多计算遥感图像中各个目标的相关性，将相关程度低的目标过滤，以形成鲁棒的特征表示。计算相似性是在原始特征的基础上，原始特征是利用卷积神经网络等操作实现特征的空间变化，因此所涉及的计算被称为空间域的计算。然而，遥感图像复杂且分辨率低，导致大多目标的可靠性差，仍在空间域中利用这种目标计算相关性，不仅无法获取满意的结果，甚至会将不可靠的信息方法放大，最终影响跨模态检索的性能
技术实现思路
1、针对现有技术存在的不足，本专利技术提供基于频域空间域双重感知的海洋遥感图文检索方法及系统，（1）从频域视角实现显著性信息建模以及噪声过滤，在包含大量噪声和冗余信息的海洋遥感数据上准确抽取有效的特征表示；（2）利用边界指导的方式在空间域实现显著性信息建模以及噪声过滤，在包含大量噪声和冗余信息的海洋遥感数据上准确抽取有效的特征表示；（3）实现频域和空间域的图像特征有效融合，实现了特征利用最大化，提高图文检索的可靠性。
2、为了解决上述技术问题，本专利技术采用的技术方案是：
3、首先，本专利技术提供一种基于频域空间域双重感知的海洋遥感图文检索方法，包括以下步骤：
4、步骤1、提取图像文本特征：对于输入的图像数据i和文本数据t，提取图像特征v和文本特征u；
5、步骤2、基于频域空间域双重感知建模特征，具体如下：
6、步骤21、在频域中抽取图像显著性特征：
7、对图像特征v分两通道分别提取显著性特征并融合生成图像频域显著性特征；将生成的频域特征与图像特征v进行差异计算，获得频域标识掩码；
8、步骤22、在空间域中抽取图像和文本显著性特征：
9、首先获取图像和文本的边界和，通过评估机制判断数据的有效区域，并生成图像和文本的可信度掩码和，再经过二值筛选获得最终的图像和文本的空间标识掩码和，若掩码中的数值大于0，则判断对应的区域表示为有效特征，否则为噪声；
10、然后将空间标识掩码和分别与图像特征v和文本特征u结合，最终生成图像空间域显著性特征和文本空间域显著性特征；
11、步骤23、频域和空间域显著性融合：
12、利用标识掩码和将频域和空间域图像特征融合，若，则直接将图像频域显著性特征和图像空间域显著性特征相加，生成最终的有效图像特征；若，则进行可信度评估，选择频域和空间域中可信度高的特征作为最终的有效图像特征。
13、进一步的，步骤21中，图像频域显著性特征通过以下方法获得：对获取的图像特征v分两通道分别提取显著性特征，其中一通道首先利用傅里叶变换将空间域表示转化为频域表示，在此基础上，对频域表示进行低通滤波，滤除掉图像的高频信息，最后通过傅里叶逆变换从频域转换到空间域；另一通道借助卷积神经网络保证信息的有效传递和保留，最后两通道融合生成图像频域显著性特征。
14、进一步的，步骤21中，频域标识掩码通过以下方法获得：生成的图像频域显著性特征vf与图像特征v进行差异计算，生成差异值，公式如下：
15、 (4)；
16、其中，d为特征vf和v的通道数，d为通道总数；若值小于指定值，则认为特征变化小，即未被过滤掉，也就是有效特征，此时将中的值置为1，否则为0；
17、 (5)。
18、进一步的，步骤22中，首先利用采样策略以及分布最大化机制获取图像和文本的边界和；然后在此基础上，通过图像和文本的评估机制和判断数据的有效区域，并生成可信度掩码和，以图像评估机制进行说明：
19、 (6)；
20、 (7)；
21、 (8)；
22、 (9)；
23、其中，i和j分别是矩阵的行和列的序号，m为矩阵的总列数，是图像特征v和文本特征u之间的相似度，×表示矩阵相乘，t为转置操作；表示取的所有列的最大值；
24、在经过二值筛选获得最终的空间标识掩码，若掩码中的数值大于0，则判断对应的区域表示为有效特征，否则为噪声；
25、 (10)；
26、同样地，文本的空间标识掩码获取方式与图像的同理。
27、进一步的，步骤23中，在标识掩码中，若，则将和直接相加，生成有效图像特征：
28、（13）；
29、若，采用图像评估机制进行可信度评估，生成频域和空间域的可信度掩码和：
30、（14）；
31、（15）；
32、然后，比较两个置信度，生成差ω：
33、（16）；
34、ω为正值表示空间域特征可靠，反之频域特征可靠：
35、（17）。
36、其次，本专利技术还提供一种基于频域空间域双重感知的海洋遥感图文检索系统，用于实现如前所述的基于频域空间域双重感知的海洋遥感图文检索方法，所述系统包括图像文本特征提取模块、频域模态内低通滤波器模块、空间域模态间边界感知显著性模块、频域空间域显著性融合模块，
37、所述图像文本特征提取模块用于提取输入图像和文本的特征，得到图像特征v和文本特征u；
38、所述频域模态内低通滤波器模块包括低通滤波器显著性提取单元和基于差异的频率标识掩码单元，低通滤波器显著性提取单元对获取的图像特征v分两通道分别提取显著性特征并融合生成图像频域显著性特征；基于差异的频率标识掩码单元将生成的图像频域显著性特征与原始特征v进行差异计算，获得频域标识掩码；
39、所述空间域模态间边界感知显著性模块包括基于边界的相似性感知空间域标识掩码单元和空间显著性提取单元，所述基于边界的相似性感知空间域标识掩码单元获取图像和文本的边界和，通过评估机制判断数据的有效区域，并生成图像和文本的可信度掩码和，再经过二值筛选获得最终的图像和文本的空间标识掩码和，若掩码中的数值大于0本文档来自技高网...
【技术保护点】
1.基于频域空间域双重感知的海洋遥感图文检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于频域空间域双重感知的海洋遥感图文检索方法，其特征在于，步骤21中，图像频域显著性特征通过以下方法获得：对获取的图像特征V分两通道分别提取显著性特征，其中一通道首先利用傅里叶变换将空间域表示转化为频域表示，在此基础上，对频域表示进行低通滤波，滤除掉图像的高频信息，最后通过傅里叶逆变换从频域转换到空间域；另一通道借助卷积神经网络保证信息的有效传递和保留，最后两通道融合生成图像频域显著性特征。
3.根据权利要求1所述的基于频域空间域双重感知的海洋遥感图文检索方法，其特征在于，步骤21中，频域标识掩码通过以下方法获得：生成的图像频域显著性特征Vf与图像特征V进行差异计算，生成差异值，公式如下：
4.根据权利要求1所述的基于频域空间域双重感知的海洋遥感图文检索方法，其特征在于，步骤22中，首先利用采样策略以及分布最大化机制获取图像和文本的边界和；然后在此基础上，通过图像和文本的评估机制和判断数据的有效区域，并生成可信度掩码和，以图像评估机制进行说明：
5.根据权利要求4所述的基于频域空间域双重感知的海洋遥感图文检索方法，其特征在于，步骤23中，在标识掩码中，若，则将和直接相加，生成有效图像特征：
6.基于频域空间域双重感知的海洋遥感图文检索系统，其特征在于，用于实现如权利要求1-5任一项所述的基于频域空间域双重感知的海洋遥感图文检索方法，包括图像文本特征提取模块、频域模态内低通滤波器模块、空间域模态间边界感知显著性模块、频域空间域显著性融合模块，
...【技术特征摘要】
1.基于频域空间域双重感知的海洋遥感图文检索方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于频域空间域双重感知的海洋遥感图文检索方法，其特征在于，步骤21中，图像频域显著性特征通过以下方法获得：对获取的图像特征v分两通道分别提取显著性特征，其中一通道首先利用傅里叶变换将空间域表示转化为频域表示，在此基础上，对频域表示进行低通滤波，滤除掉图像的高频信息，最后通过傅里叶逆变换从频域转换到空间域；另一通道借助卷积神经网络保证信息的有效传递和保留，最后两通道融合生成图像频域显著性特征。
3.根据权利要求1所述的基于频域空间域双重感知的海洋遥感图文检索方法，其特征在于，步骤21中，频域标识掩码通过以下方法获得：生成的图像频域显著性特征vf与图像特征v进行差异计算，生成差异值，...
【专利技术属性】
技术研发人员：聂婕，郑程予，李秀，温琦，陈树果，魏志强，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。