一种基于深度学习的SAR图像描述生成方法技术

本发明专利技术公开了一种基于深度学习的SAR图像描述生成方法，包括以下步骤：S1、获取SAR图像；S2、将SAR图像输入文本语句标注模型以获取与SAR图像关联的词嵌入特征矩阵；S3、将SAR图像输入尺度特征融合模型以获取与SAR图像关联的多特征融合图；S4、将获取到的词嵌入特征矩阵以及多特征融合图输入注意力LSTM文本生成网络模型以生成SAR图像的描述文本。相比较传统的图像描述生成方法，不需要人工预定句子模板，而是通过具有文本标注的SAR数据训练学习，通过模型评估分数更新网络参数，实现端到端的注意力网络的SAR图像文本生成。注意力网络的SAR图像文本生成。注意力网络的SAR图像文本生成。

【技术实现步骤摘要】
一种基于深度学习的SAR图像描述生成方法


[0001]本专利技术涉及雷达图像描述生成
，尤其涉及一种基于深度学习的SAR图像描述生成方法。

技术介绍

[0002]传统的遥感图像描述生成技术，主要利用模板的方法为不同类别的图像提供不同的预定义句子模板，图像中的目标可以被检测或分类，并在预定义的模板中填充相应的单词生成描述图像的完整句子。句子模板类型有限且长度不可变，难以处理复杂环境下多目标的描述生成。为此提出一种基于注意力神经网络的SAR图像描述生成技术，为战场情报人员提供高可读性的情报文本。目前国内外基于深度学习的遥感图像描述生成已有部分研究，网络模型丰富，但还有几个问题尚未得到解决，主要表现在：第一，目前公开的遥感图像描述生成数据集均是光学图像且基于英文标注，难以适应具有特殊成像特点的SAR图像以及中文情报生成。第二，现有的基于循环神经网络的图像描述生成算法在应对复杂场景下多尺度目标表征能力欠佳，难以适应航空侦察大面积范围多尺度地物目标的准确文本描述。针对上述问题，本专利技术提出一种基于注意力神经网络的SAR图像描述生成技术，提高情报文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的SAR图像描述生成方法，其特征在于，包括以下步骤：S1、获取SAR图像；S2、将SAR图像输入文本语句标注模型以获取与SAR图像关联的词嵌入特征矩阵；S3、将SAR图像输入尺度特征融合模型以获取与SAR图像关联的多特征融合图；S4、将获取到的词嵌入特征矩阵以及多特征融合图输入注意力LSTM文本生成网络模型以生成SAR图像的描述文本。2.根据权利要求1所述的基于深度学习的SAR图像描述生成方法，其特征在于，所述文本语句标注模型训练过程包括：从SAR训练样本集中获取多个SAR图像训练样本的描述文本；对所有SAR图像训练样本的描述文本进行预处理；将所有预处理后的SAR图像训练样本的描述文本输入文本语句标注模型，得到样本的词嵌入矩阵；根据样本的词嵌入矩阵和SAR图像训练样本的描述文本，对所述文本语句标注模型的参数进行调整，直至样本的词嵌入矩阵和SAR图像训练样本的描述文本在允许的差距范围内为止，得到已训练的文本语句标注模型。3.根据权利要求2所述的基于深度学习的SAR图像描述生成方法，其特征在于，所述预处理包括对中文语句分词、建立词频词典以及基于词频词典构建词索引。4.根据权利要求1所述的基于深度学习的SAR图像描述生成方法，其特征在于，“获取与SAR图像关联的多特征融合图”具体包括：提取出SAR图像中的多个尺度特征层；对多个尺度特征层进行空间维度以及通道维度的噪声去除；将噪声去除后的多个尺度特征层融合成多特征融合图。5.根据权利要求1所述的基于深度学习的SAR图...

【专利技术属性】
技术研发人员：曹菡，陈曦，姚佰栋，许涛，李梦雅，孙翎马，常沛，朱程涛，吴涛，
申请(专利权)人：中国电子科技集团公司第三十八研究所，
类型：发明
国别省市：