一种基于通道-空间注意力与Mamba网络的遥感图像字幕生成方法和装置制造方法及图纸

技术编号:46435096 阅读:2 留言:0更新日期:2025-09-19 20:39
本申请提供了一种基于通道‑空间注意力与Mamba网络的遥感图像字幕生成方法和装置,涉及遥感图像处理领域。该方法包括:将遥感图像输入预训练的卷积神经网络,并根据预训练的卷积神经网络输出第一图像特征;将第一图像特征输入至第一模块,并基于第一模块输出第二图像特征;将第二图像特征输入至第二模块,并基于第二模块输出第三图像特征;基于第二图像特征提取全局图像特征,并基于文本特征提取全局文本特征;基于全局图像特征和全局文本特征,结合位置编码和掩码机制,生成图像字幕文本。本申请解决了传统方法在图像内容具有显著结构多样性、语义分布不均或存在局部区域噪声干扰时,生成的遥感图像字幕容易出现表达不准确、语义缺失或冗余描述的问题。

【技术实现步骤摘要】

本申请涉及遥感图像处理领域,尤其涉及一种基于通道-空间注意力与mamba网络的遥感图像字幕生成方法和装置。


技术介绍

1、遥感图像字幕生成(rsic)是一项跨模态任务,它结合了计算机视觉和自然语言处理,旨在将遥感图像转换为自然语言描述,以便非专业人士能够直观地理解图像内容。近年来,随着遥感技术的发展,作为图像字幕生成子任务的rsic在地理研究、环境监测等领域受到了广泛关注。

2、传统方法通常仅通过单一方向的信息流建模图像特征,以生成遥感图像字幕,从而忽略了图像在空间结构上的双向依赖性,同时缺乏对局部细节与通道语义的显式建模机制,致使在复杂场景下建模能力不足。尤其在图像内容具有显著结构多样性、语义分布不均或存在局部区域噪声干扰时,生成的遥感图像字幕容易出现表达不准确、语义缺失或冗余描述的问题。

3、因此,亟需一种基于通道-空间注意力与mamba网络的遥感图像字幕生成方法和装置。


技术实现思路

1、本申请提供一种基于通道-空间注意力与mamba网络的遥感图像字幕生成方法和装置,解决了仅通过本文档来自技高网...

【技术保护点】

1.一种基于通道-空间注意力与Mamba网络的遥感图像字幕生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将遥感图像输入预训练的卷积神经网络,并根据预训练的所述卷积神经网络输出第一图像特征,具体包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述第一图像特征输入至第一模块,并基于所述第一模块输出第二图像特征,具体包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述第一嵌入特征作为输入执行前向状态空间建模以获取第一方向图像编码特征,将所述第二嵌入特征作为输入执行后向状态空间建模以获取第二方向图像编码特征...

【技术特征摘要】

1.一种基于通道-空间注意力与mamba网络的遥感图像字幕生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将遥感图像输入预训练的卷积神经网络,并根据预训练的所述卷积神经网络输出第一图像特征,具体包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述第一图像特征输入至第一模块,并基于所述第一模块输出第二图像特征,具体包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述第一嵌入特征作为输入执行前向状态空间建模以获取第一方向图像编码特征,将所述第二嵌入特征作为输入执行后向状态空间建模以获取第二方向图像编码特征,具体包括:

5.根据权利要求1所述的方法,其特征在于,所述将所述第二图像特征输入至第二模块,并基于所述第二模块输出第三图像特征,具体包括:

6.根据权利要求1所述的方法,其特征...

【专利技术属性】
技术研发人员:储扬静王鹏
申请(专利权)人:南京北斗创新应用科技研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1