一种图像文本融合的多模态双分支孪生网络遥感变化检测方法及系统技术方案

本发明专利技术涉及计算机视觉与人工智能技术领域，具体涉及一种图像文本融合的多模态双分支孪生网络遥感变化检测方法及系统，该方法将文本特征与高层级语义特征图进行交互融合，使文本特征寻找到最相关的视觉线索，将细化后的文本特征经残差连接后更新文本特征；使用更新的文本特征再与高层阶语义特征图进行联合生成更具区分性的高层语义特征图；根据前后时相多层级特征图和更具区分性的高层语义特征图，提取多层级特征之间的差异信息，然后基于U型视觉语言引导的交叉十字型Transformer多模态解码器，获取变化后的图像分割掩码。本发明专利技术通过融合遥感图像与关联文本，有效减少单模态数据的误检漏检问题，提高变化区域的识别准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与人工智能，具体涉及一种图像文本融合的多模态双分支孪生网络遥感变化检测方法及系统。

技术介绍

1、遥感图像变化检测(change detection,cd)旨在通过分析不同时相的遥感影像，识别地表覆盖的变化区域(如建筑扩张、森林砍伐、灾害损毁等)，在环境监测、城市规划、灾害评估等领域具有重要应用。然而，由于遥感数据的复杂性(如光照变化、季节差异、传感器噪声等)，传统方法在精度和鲁棒性上仍面临挑战。现有技术的主要问题如下：

2、①单模态方法的局限性：大多数现有方法仅依赖光学图像(如landsat、sentinel-2)，缺乏对辅助信息(如文本元数据、地理标签)的利用，导致对语义模糊变化(如临时阴影vs.真实地物变化)的区分能力不足。例如：基于像素级的差异分析(如cva算法)或深度学习模型(如u-net)易受光照和噪声干扰。

3、②多模态融合的不足：少数研究尝试结合多源数据(如光学+sar图像)，但跨模态特征对齐困难，且未充分利用文本信息的语义指导作用。例如：早期融合(直接拼接图像与文本特征)会导致特征空间不一致本文档来自技高网...

【技术保护点】

1.一种图像文本融合的多模态双分支孪生网络遥感变化检测方法，其特征在于，包括：

2.根据权利要求1所述的图像文本融合的多模态双分支孪生网络遥感变化检测方法，其特征在于，所述CLIP模型预训练方法，使用CLIP模型对从遥感数据集中提取的原始影像切片进行初始推理生成与遥感影像相对应的文本提示和语言先验知识。

3.根据权利要求1所述的图像文本融合的多模态双分支孪生网络遥感变化检测方法，其特征在于，所述视觉特征是将文本特征与图像特征通过多模态Transformer编码器、解码器进行融合。

4.根据权利要求1所述的图像文本融合的多模态双分支孪生网络遥感变化检测方...

【技术特征摘要】

1.一种图像文本融合的多模态双分支孪生网络遥感变化检测方法，其特征在于，包括：

2.根据权利要求1所述的图像文本融合的多模态双分支孪生网络遥感变化检测方法，其特征在于，所述clip模型预训练方法，使用clip模型对从遥感数据集中提取的原始影像切片进行初始推理生成与遥感影像相对应的文本提示和语言先验知识。

3.根据权利要求1所述的图像文本融合的多模态双分支孪生网络遥感变化检测方法，其特征在于，所述视觉特征是将文本特征与图像特征通过多模态transformer编码器、解码器进行融合。

4.根据权利要求1所述的图像文本融合的多模态双分支孪生网络遥感变化检测方法，其特征在于，提取图像特征时，包括：将遥感图像在swin transformer编码器采用全局平均池化模块对高层特征映射进行视觉嵌入，获取图像特征；

5.根据权利要求4所述的图像文本融合的多模态双分支孪生网络遥感变化检测方...

【专利技术属性】
技术研发人员：王涛，张宏鸣，白铁成，徐超，刘斌，张二磊，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：