一种基于模态共有特征的光学-SAR遥感图像跨模态检索方法技术

本发明专利技术提供一种基于模态共有特征的光学

【技术实现步骤摘要】
一种基于模态共有特征的光学
‑
SAR遥感图像跨模态检索方法


[0001]本专利技术属于计算机视觉领域，特别涉及基于模态共有特征的光学
‑
SAR遥感图像跨模态检索方法。

技术介绍

[0002]基于内容的遥感图像检索技术是利用查询图像，从大规模遥感图像数据库中查找到与查询图像属于同一目标区域的其他遥感图像。遥感图像检索在地理定位与导航，自然灾害抢险救灾以及遥感图像配准融合等领域具有十分重要的意义。常规的遥感图像检索研究主要集中在光学遥感图像，然而在光照不足，存在云雾遮挡或恶劣天气等环境下，光学遥感图像成像质量会受到极大的影响，无法满足检索的需求。SAR卫星成像具有全天时、全天候、不受大气和气候影响等优点，甚至在极端气候条件下是唯一可靠的数据来源，当某些地区缺少高质量光学数据库图像时，可以使用SAR图像构建数据库，并完成对光学查询图像的检索。因此，如何有效提取光学与SAR遥感图像特征，准确度量图像间的相似程度，实现高精度跨模态检索具有十分重要的理论研究意义与实际应用价值。目前，光学
‑<br/>SAR遥感图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于模态共有特征的光学
‑
SAR遥感图像跨模态检索方法，其特征在于，包括以下步骤：步骤1，对光学遥感图像x
V
和SAR遥感图像x
S
分别进行通道随机替换，通过随机替换得到新的光学图像与新的SAR图像步骤2，将经过通道随机替换的光学图像以及SAR图像通过引导滤波消减细节纹理特征差异，得到以及步骤3，将步骤2中得到的新生成光学图像与原始光学图像x
V
送入光学特征提取网络G(V)中，得到特征(V)中，得到特征将新生成的SAR图像以及原始SAR图像x
S
送入SAR特征提取网络G(S)中，得到特征其中，θ
V
与θ
S
分别为光学网络与SAR网络的网络参数，G(V)以及G(S)为结构完全相同，部分权重共享的跨模态伪孪生网络；步骤4，将步骤3中得到的光学遥感图像特征F
V
以及SAR遥感图像特征F
S
分别送入特征模态鉴别器中，判断输入特征属于光学模态还是SAR模态，分别得到以及其中θ
D
为特征模态鉴别器的网络参数；步骤5，计算第一损失函数，使得特征模态鉴别器可以准确分辨输入特征F
V
与F
S
所属的模态；步骤6，利用反向传播的方式对网络进行训练，得到其中，θ
D
为步骤4中特征模态鉴别器参数，为更新之后的特征模态鉴别器参数，η为训练时设置的学习率大小；步骤7，利用步骤6中得到的更新后的鉴别器参数将特征提取网络得到的特征输入鉴别器得到以及步骤8，计算多向约束损失函数，通过多向约束损失函数，使得训练阶段在同一欧式空间中，对应同一目标区域的特征之间距离小于不同目标区域特征间的距离，从而在检索阶段可以将正负样本进行区分；步骤9，计算第二损失函数，使得特征模态鉴别器无法准确判别特征所属模态，增强网络模态共有特征提取能力；步骤10，通过反向传播算法对跨模态伪孪生网络进行训练，光学网络参数更新为：SAR网络参数更新为：步骤11，通过步骤10训练得到的跨模态伪孪生网络，提取输入的光学图像x
V
特征得到F
V
；提取输入的SAR图像x
s
特征得到F
s
，同时计算输入光学图像特征与SAR数据库中所有图像特征之间的欧氏距离；步骤12，对步骤11中得到的欧氏距离按照从小到大排序，距离越小则说明图像相似度越高，相似度最高的即为最终检索结果。2.如权利要求1所述的一种基于模态共有特征的光学
‑
SAR遥感图像跨模态检索方法，其特征在于：步骤1中，光学图像通道随机替换表达式为：
其中分别代表光学遥感图像的三个不同通道，SAR遥感图像通道随机替换表达式...

【专利技术属性】
技术研发人员：杨文，张岩，李号元，张瑞祥，余淮，
申请(专利权)人：武汉大学，
类型：发明
国别省市：