一种基于迁移学习的跨模态遥感图像的匹配方法组成比例

本发明专利技术公开了一种基于迁移学习的跨模态遥感图像的匹配方法，该方法利用迁移学习，将在有标签的跨模态遥感图像数据上学习到的度量准则，迁移到无标签的其他成像设备的跨模态遥感图像上，提高其匹配性能。网络同时输入有标签的跨模态遥感图像数据和无标签的跨模态数据。网络包含两个特征提取器，其参数部分共享，分别用于提取光学图像的特征和SAR图像的特征。训练阶段包含如下两个任务，第一是利用有标签的数据学习光学图像和SAR图像两种模态之间的度量准则，第二则是要混淆不同成像设备的同种模态数据。本发明专利技术能够有效地将在有标签的数据上学习到的度量准则，迁移到无标签的数据上，对无标签的跨模态遥感图像进行更高精度的匹配。

【技术实现步骤摘要】
一种基于迁移学习的跨模态遥感图像的匹配方法
本专利技术涉及图像处理
，具体涉及一种基于迁移学习的跨模态遥感图像的匹配方法。
技术介绍
近年来，成像方式的多样化导致了遥感图像的多元化，例如高分二号、WorldView-2、Sentinel-2等卫星能够获取光学图像，高分三号、TerraSAR-X、Sentinel-1等卫星能够获取合成孔径雷达(SAR)图像。这些不同模态的图像对同一事物具有完全不同的描述形式，具有相关性和互补性。因此完成这些图像间的匹配能够提供更全面和更有价值的信息，来克服单源遥感信息提取和解译所带来的不足。随着深度学习的发展，基于卷积神经网络的跨模态遥感图像匹配取得了空前的成就。但这类方法需要大量的标签样本，并且往往只关注特定成像设备的数据，例如Sentinel-2光学图像与Sentinel-1合成孔径雷达图像的匹配。当训练好的模型运用于其他成像设备的跨模态图像匹配任务时，例如WorldView-2光学图像与CapellaSpace合成孔径雷达图像的匹配，或者无人机光学图像和合成孔径雷达图像的匹配，即使是相同的两种本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的跨模态遥感图像的匹配方法，其特征在于，包括：/nS1：通过第一特征提取器提取有标签的光学图像的特征，通过第二特征提取器提取有标签的SAR图像的特征；/nS2：通过第一特征提取器提取无标签的光学图像的特征，通过第二特征提取器提取无标签的SAR图像的特征；/nS3：将提取的有标签的SAR图像的特征和无标签待匹配的SAR图像的特征输入到梯度反转层和第二图像判别器中，其中，梯度反转层用以在反向传播过程中梯度方向自动取反，在前向传播过程中实现恒等变换第二图像判别器用以根据提取的SAR图像特征判别网络的输入是哪种成像设备获取的SAR图像；将提取的有标签的光学图像的特征和无标签待匹配的...

【技术特征摘要】
1.一种基于迁移学习的跨模态遥感图像的匹配方法，其特征在于，包括：
S1：通过第一特征提取器提取有标签的光学图像的特征，通过第二特征提取器提取有标签的SAR图像的特征；
S2：通过第一特征提取器提取无标签的光学图像的特征，通过第二特征提取器提取无标签的SAR图像的特征；
S3：将提取的有标签的SAR图像的特征和无标签待匹配的SAR图像的特征输入到梯度反转层和第二图像判别器中，其中，梯度反转层用以在反向传播过程中梯度方向自动取反，在前向传播过程中实现恒等变换第二图像判别器用以根据提取的SAR图像特征判别网络的输入是哪种成像设备获取的SAR图像；将提取的有标签的光学图像的特征和无标签待匹配的光学图像的特征输入到梯度反转层和第一图像判别器中，第一图像判别器用以根据提取的光学图像特征判别网络的输入是哪种成像设备获取的光学图像；
S4：根据S1中提取出的有标签的SAR图像的特征和标签的光学图像的特征，计算第一损失函数



其中，Fsar表示从样本中提取出的特征，样本为有标签的SAR图像，Fopt+表示从正样本中提取出的特征，正样本为与样本匹配的光学图像，Fopt-表示从负样本中提取出的特征，负样本为与样本不匹配的光学图像，m为设定的阈值，第一损失函数用以学习光学图像和SAR图像两种模态之间的度量准则，通过优化样本与正样本的距离小于样本与负样本的距离，实现两种模态数据的相似性计算；
S5：根据输入的特征是那种成像设备获取的SAR图像，计算第二损失函数



其中，Ftsar表示来自某种成像设备的SAR图像特征，Rλ(Fsar)表示对特征Fsar进行梯度反转操作，lt(·)＝tlog(Dsar(·))+(1-t)log(1-Dsar(·))，如果输入特征来自有标签的SAR图像，则t＝0；如果输入特征来自无标签的待匹配的SAR图像，则t＝1，第二损失函数用以弥合不同成像设备获取的SAR图像之间的差距；
S6：根据输入的特征是那种...

【专利技术属性】
技术研发人员：杨文，徐芳，夏桂松，张瑞祥，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42