一种基于深度学习的SAR图像描述生成方法技术

本发明专利技术公开了一种基于深度学习的SAR图像描述生成方法，包括以下步骤：S1、获取SAR图像；S2、将SAR图像输入文本语句标注模型以获取与SAR图像关联的词嵌入特征矩阵；S3、将SAR图像输入尺度特征融合模型以获取与SAR图像关联的多特征融合图；S4、将获取到的词嵌入特征矩阵以及多特征融合图输入注意力LSTM文本生成网络模型以生成SAR图像的描述文本。相比较传统的图像描述生成方法，不需要人工预定句子模板，而是通过具有文本标注的SAR数据训练学习，通过模型评估分数更新网络参数，实现端到端的注意力网络的SAR图像文本生成。注意力网络的SAR图像文本生成。注意力网络的SAR图像文本生成。

【技术实现步骤摘要】
一种基于深度学习的SAR图像描述生成方法


[0001]本专利技术涉及雷达图像描述生成
，尤其涉及一种基于深度学习的SAR图像描述生成方法。

技术介绍

[0002]传统的遥感图像描述生成技术，主要利用模板的方法为不同类别的图像提供不同的预定义句子模板，图像中的目标可以被检测或分类，并在预定义的模板中填充相应的单词生成描述图像的完整句子。句子模板类型有限且长度不可变，难以处理复杂环境下多目标的描述生成。为此提出一种基于注意力神经网络的SAR图像描述生成技术，为战场情报人员提供高可读性的情报文本。目前国内外基于深度学习的遥感图像描述生成已有部分研究，网络模型丰富，但还有几个问题尚未得到解决，主要表现在：第一，目前公开的遥感图像描述生成数据集均是光学图像且基于英文标注，难以适应具有特殊成像特点的SAR图像以及中文情报生成。第二，现有的基于循环神经网络的图像描述生成算法在应对复杂场景下多尺度目标表征能力欠佳，难以适应航空侦察大面积范围多尺度地物目标的准确文本描述。针对上述问题，本专利技术提出一种基于注意力神经网络的SAR图像描述生成技术，提高情报文本的可读性和准确性。

技术实现思路

[0003]为解决
技术介绍
中存在的技术问题，本专利技术提出一种基于深度学习的SAR图像描述生成方法。
[0004]本专利技术提出的一种基于深度学习的SAR图像描述生成方法，包括以下步骤：
[0005]S1、获取SAR图像；
[0006]S2、将SAR图像输入文本语句标注模型以获取与SAR图像关联的词嵌入特征矩阵；
[0007]S3、将SAR图像输入尺度特征融合模型以获取与SAR图像关联的多特征融合图；
[0008]S4、将获取到的词嵌入特征矩阵以及多特征融合图输入注意力LSTM文本生成网络模型以生成SAR图像的描述文本。
[0009]优选地，文本语句标注模型训练过程包括：
[0010]从SAR训练样本集中获取多个SAR图像训练样本的描述文本；
[0011]对所有SAR图像训练样本的描述文本进行预处理；
[0012]将所有预处理后的SAR图像训练样本的描述文本输入文本语句标注模型，得到样本的词嵌入矩阵；
[0013]根据样本的词嵌入矩阵和SAR图像训练样本的描述文本，对文本语句标注模型的参数进行调整，直至样本的词嵌入矩阵和SAR图像训练样本的描述文本在允许的差距范围内为止，得到已训练的文本语句标注模型。
[0014]优选地，预处理包括对中文语句分词、建立词频词典以及基于词频词典构建词索引。
[0015]优选地，“获取与SAR图像关联的多特征融合图”具体包括：
[0016]提取出SAR图像中的多个尺度特征层；
[0017]对多个尺度特征层进行空间维度以及通道维度的噪声去除；
[0018]将噪声去除后的多个尺度特征层融合成多特征融合图。
[0019]优选地，“生成SAR图像的描述文本”具体包括：
[0020]用分类器对输入的SAR图像的类别进行预测，得到标签词；
[0021]实时获取多特征融合图、词嵌入特征矩阵；
[0022]根据词嵌入特征矩阵对标签词嵌入图像标签信息的向量；
[0023]将多特征融合图重塑并分区域，得到缩放后特征图a(a＝{a
i
},i＝1,2,
…
,N),同时对每个区域进行加权；
[0024]通过嵌入图像标签信息的向量和权重获取注意力掩模β；
[0025]再通过注意力掩模β和缩放后特征图a(a＝{a
i
},i＝1,2,
…
,N)实时得到图像特征向量c
t
；
[0026]将t时刻的预测词语投影到嵌入图像标签信息的向量，通过连接图像特征向量和嵌入图像标签信息的向量得到注意力LSTM文本生成网络模型的输入，通过注意力LSTM文本生成网络模型生成SAR图像的描述文本。
[0027]优选地，还包括：在每次注意力LSTM文本生成网络模型训练结束后，依据模型生成的描述文本和人工标注真值描述文本获取评价模型精度，对SAR图像分类模型的参数进行优化，优化目标为找到最小的平均损失函数。
[0028]优选地，“获取SAR图像”具体包括：获取SAR图像数据，对SAR图像的整景图像进行滑窗裁剪成多张测试切片，对每张切片SAR图像进行描述文本标注。
[0029]本专利技术中，所提出的基于深度学习的SAR图像描述生成方法，在获取SAR数据后，对整景影像进行滑窗裁剪成训练切片，对SAR图像进行文本语句标注，然后进行文本预处理，包括对中文语句进行分词、建立词频词典以及基于词频词典构建词索引，利用word2vec模型生成词嵌入特征矩阵以增强词与词之间的联系，基于Resnet
‑
101网络进行图像特征编码，将图像特征映射到词嵌入空间，然后将每个词语匹配到的词嵌入向量和图像特征一起送入基于标签注意力机制的LSTM网络进行训练得到训练参数，最后将测试SAR图像输入模型生成描述该图像的中文句子，相比较传统的图像描述生成方法，不需要人工预定句子模板，而是通过具有文本标注的SAR数据训练学习，通过模型评估分数更新网络参数，实现端到端的注意力网络的SAR图像文本生成。
附图说明
[0030]图1为本专利技术提出的一种基于深度学习的SAR图像描述生成方法的工作流程的结构示意图；
[0031]图2为本专利技术提出的一种基于深度学习的SAR图像描述生成方法的SAR图像描述生成流程结构示意图；
[0032]图3为本专利技术提出的一种基于深度学习的SAR图像描述生成方法的长短时记忆网络的结构示意图。
具体实施方式
[0033]本实施例的基于深度学习的SAR图像描述生成方法的具体工作过程中，在获取SAR数据后，对整景影像进行滑窗裁剪成训练切片，对SAR图像进行文本语句标注，然后进行文本预处理，包括对中文语句进行分词、建立词频词典以及基于词频词典构建词索引，利用word2vec模型生成词嵌入特征矩阵以增强词与词之间的联系，基于Resnet
‑
101网络进行图像特征编码，将图像特征映射到词嵌入空间，然后将每个词语匹配到的词嵌入向量和图像特征一起送入基于标签注意力机制的LSTM网络进行训练得到训练参数，最后将测试SAR图像输入模型生成描述该图像的中文句子。
[0034]参照图1
‑
3，本专利技术提出的一种基于深度学习的SAR图像描述生成方法，包括以下步骤：
[0035]S1、获取SAR图像。
[0036]“获取SAR图像”具体包括：获取SAR图像数据，对SAR图像的整景图像进行滑窗裁剪成多张测试切片，对每张切片SAR图像进行描述文本标注。
[0037]S2、将SAR图像输入文本语句标注模型以获取与SAR图像关联的词嵌入特征矩阵。
[0038]文本语句标注模型训练过程包括：
[0039]从SAR训练样本集中获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的SAR图像描述生成方法，其特征在于，包括以下步骤：S1、获取SAR图像；S2、将SAR图像输入文本语句标注模型以获取与SAR图像关联的词嵌入特征矩阵；S3、将SAR图像输入尺度特征融合模型以获取与SAR图像关联的多特征融合图；S4、将获取到的词嵌入特征矩阵以及多特征融合图输入注意力LSTM文本生成网络模型以生成SAR图像的描述文本。2.根据权利要求1所述的基于深度学习的SAR图像描述生成方法，其特征在于，所述文本语句标注模型训练过程包括：从SAR训练样本集中获取多个SAR图像训练样本的描述文本；对所有SAR图像训练样本的描述文本进行预处理；将所有预处理后的SAR图像训练样本的描述文本输入文本语句标注模型，得到样本的词嵌入矩阵；根据样本的词嵌入矩阵和SAR图像训练样本的描述文本，对所述文本语句标注模型的参数进行调整，直至样本的词嵌入矩阵和SAR图像训练样本的描述文本在允许的差距范围内为止，得到已训练的文本语句标注模型。3.根据权利要求2所述的基于深度学习的SAR图像描述生成方法，其特征在于，所述预处理包括对中文语句分词、建立词频词典以及基于词频词典构建词索引。4.根据权利要求1所述的基于深度学习的SAR图像描述生成方法，其特征在于，“获取与SAR图像关联的多特征融合图”具体包括：提取出SAR图像中的多个尺度特征层；对多个尺度特征层进行空间维度以及通道维度的噪声去除；将噪声去除后的多个尺度特征层融合成多特征融合图。5.根据权利要求1所述的基于深度学习的SAR图...

【专利技术属性】
技术研发人员：曹菡，陈曦，姚佰栋，许涛，李梦雅，孙翎马，常沛，朱程涛，吴涛，
申请(专利权)人：中国电子科技集团公司第三十八研究所，
类型：发明
国别省市：