【技术实现步骤摘要】
本申请涉及遥感图像处理领域,尤其涉及一种基于通道-空间注意力与mamba网络的遥感图像字幕生成方法和装置。
技术介绍
1、遥感图像字幕生成(rsic)是一项跨模态任务,它结合了计算机视觉和自然语言处理,旨在将遥感图像转换为自然语言描述,以便非专业人士能够直观地理解图像内容。近年来,随着遥感技术的发展,作为图像字幕生成子任务的rsic在地理研究、环境监测等领域受到了广泛关注。
2、传统方法通常仅通过单一方向的信息流建模图像特征,以生成遥感图像字幕,从而忽略了图像在空间结构上的双向依赖性,同时缺乏对局部细节与通道语义的显式建模机制,致使在复杂场景下建模能力不足。尤其在图像内容具有显著结构多样性、语义分布不均或存在局部区域噪声干扰时,生成的遥感图像字幕容易出现表达不准确、语义缺失或冗余描述的问题。
3、因此,亟需一种基于通道-空间注意力与mamba网络的遥感图像字幕生成方法和装置。
技术实现思路
1、本申请提供一种基于通道-空间注意力与mamba网络的遥感图像字幕生成方法
...【技术保护点】
1.一种基于通道-空间注意力与Mamba网络的遥感图像字幕生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述将遥感图像输入预训练的卷积神经网络,并根据预训练的所述卷积神经网络输出第一图像特征,具体包括:
3.根据权利要求1所述的方法,其特征在于,所述将所述第一图像特征输入至第一模块,并基于所述第一模块输出第二图像特征,具体包括:
4.根据权利要求3所述的方法,其特征在于,所述将所述第一嵌入特征作为输入执行前向状态空间建模以获取第一方向图像编码特征,将所述第二嵌入特征作为输入执行后向状态空间建模以获取
...【技术特征摘要】
1.一种基于通道-空间注意力与mamba网络的遥感图像字幕生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述将遥感图像输入预训练的卷积神经网络,并根据预训练的所述卷积神经网络输出第一图像特征,具体包括:
3.根据权利要求1所述的方法,其特征在于,所述将所述第一图像特征输入至第一模块,并基于所述第一模块输出第二图像特征,具体包括:
4.根据权利要求3所述的方法,其特征在于,所述将所述第一嵌入特征作为输入执行前向状态空间建模以获取第一方向图像编码特征,将所述第二嵌入特征作为输入执行后向状态空间建模以获取第二方向图像编码特征,具体包括:
5.根据权利要求1所述的方法,其特征在于,所述将所述第二图像特征输入至第二模块,并基于所述第二模块输出第三图像特征,具体包括:
6.根据权利要求1所述的方法,其特征...
【专利技术属性】
技术研发人员:储扬静,王鹏,
申请(专利权)人:南京北斗创新应用科技研究院有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。