基于域适应的SAR图像-文本跨模态检索方法、装置及设备制造方法及图纸

技术编号:40964328 阅读:33 留言:0更新日期:2024-04-18 20:44
本发明专利技术提供了基于域适应的SAR图像‑文本跨模态检索方法、装置及设备。应用于图像处理技术领域,所述方法包括:利用ResNet对源域特征提取模块与第一语义映射模块进行预训练;基于SOT数据集,利用训练好的源域特征提取模块,对目标域的特征提取模块与模态判别模块进行训练;基于SOT数据集,对文本特征提取模块、特征映射模块以及第二语义映射模块、第三语义映射模块进行训练;利用源域特征提取模块、第一语义映射模块、目标域的特征提取模块、模态判别模块、文本特征提取模块、特征映射模块、第二语义映射模块、第三语义映射模块,构建基于域适应的SAR图像‑文本跨模态检索框架。以此方式,可以在庞大的遥感图像数据库中,快速检索到目标图像。

【技术实现步骤摘要】

本专利技术涉及图像处理,进一步涉及文本跨模态检索,尤其涉及一种基于域适应的sar图像-文本跨模态检索方法、装置及设备。


技术介绍

1、和传统方法相比,深度学习在很多领域确实带来了很多优势,但是sar图像跨模态图文检索仍存在一些亟待探讨的问题:目前学术界拥有标注的光学遥感图像-文本数据集,其获取难度远小于sar(synthetic aperture radar,逆合成孔径雷达)图像-文本数据。那么,如何利用已标注的光学遥感图像-文本数据集来辅助实现无标注图像-文本数据集的sar图像跨模态检索就成了一个亟待解决的问题。

2、对于使用有标签的光学遥感图像数据训练好的模型,在无标签的sar图像据上进行测试时,由于每个域分布不同导致的域偏移问题,一般会取得较差的效果。

3、典型的解决方案是在sar图像数据上进一步微调该网络。然而,要获得足够的sar图像标签数据来进行适当微调所付出的代价是极其昂贵的。


技术实现思路

1、有鉴于此,本专利技术提供了一种基于域适应的sar图像-文本跨模态检索方法、装置本文档来自技高网...

【技术保护点】

1.一种基于域适应的SAR图像-文本跨模态检索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用ResNet对源域特征提取模块与第一语义映射模块进行预训练,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于SOT数据集,利用训练好的所述源域特征提取模块,对目标域的特征提取模块与模态判别模块进行训练,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于SOT数据集中的光学遥感图像和SAR图像对,利用训练好的所述源域特征提取模块,对目标域的特征提取模块与模态判别模块进行训练,包括:

5.根据权利要...

【技术特征摘要】

1.一种基于域适应的sar图像-文本跨模态检索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述利用resnet对源域特征提取模块与第一语义映射模块进行预训练,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于sot数据集,利用训练好的所述源域特征提取模块,对目标域的特征提取模块与模态判别模块进行训练,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于sot数据集中的光学遥感图像和sar图像对,利用训练好的所述源域特征提取模块,对目标域的特征提取模块与模态判别模块进行训练,包括:

5.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员:郭超谢涛周雄韩建楠吕渡李宁杨瑞孙颖智王爽
申请(专利权)人:自然资源陕西省卫星应用技术中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1