高低层特征融合的注意力遥感图像描述的生成方法及系统技术方案

一种高低层特征融合的注意力遥感图像描述的生成方法及系统，包括：获取待测遥感图像；基于所述待测遥感图像和预先训练好的图像描述模型得到所述待测遥感图像的自然语言句子描述；其中，所述图像描述模型由利用卷积网络构建的编码器、高低层特征融合的注意力以及利用循环递归网络构建的解码器构建而成。本发明专利技术提供的技术方案充分利用了图像浅层特征的局部细节信息和高层特征的全局语义信息，给予了传统的注意力机制全局和局部双意识，从而更准确理解图像所表达的语义内容，以及该语义内容与自然语言句子之间的相互关系，进而为遥感图像生成内容准确的自然语言句子描述。

【技术实现步骤摘要】
高低层特征融合的注意力遥感图像描述的生成方法及系统
本专利技术涉及一种图像描述领域，具体讲涉及一种高低层特征融合的注意力遥感图像描述的生成方法及系统。
技术介绍
遥感图像描述生成(RemoteSensingDescriptionGeneration,RSDG)是遥感图像领域的一个重要组成部分，要解决的主要问题是理解遥感图像的语义内容，然后为遥感图像生成自然语言句子描述。因此遥感图像描述生成要解决的一个首要问题是遥感图像语义的理解，这有助于机器理解人类视觉捕获图像特征的方式；其次，相对于遥感图像领域的其他问题，例如场景分类(SceneClassification)，目标检测(ObjectDetection)、语义分割(SemanticSegmentation)等任务都需要理解图像的内容，其中场景分类需要对遥感图像的场景进行分类，目标检测需要定位遥感目标的位置并识别该目标的种类，语义分割需要区分前景背景的像素类别。而遥感图像描述生成不仅需要理解遥感图像的语义内容，还需要生成自然语言句子描述，该描述不仅要说明该遥感图像的场景类别，还需要对场景中所包含本文档来自技高网...

【技术保护点】
1.一种高低层特征融合的注意力遥感图像描述的生成方法，其特征在于，包括：/n获取待测遥感图像；/n基于所述待测遥感图像和预先训练好的图像描述模型得到所述待测遥感图像的自然语言句子描述；/n其中，所述图像描述模型由利用卷积网络构建的编码器、高低层特征融合的注意力以及利用循环递归网络构建的解码器构建而成。/n

【技术特征摘要】
1.一种高低层特征融合的注意力遥感图像描述的生成方法，其特征在于，包括：
获取待测遥感图像；
基于所述待测遥感图像和预先训练好的图像描述模型得到所述待测遥感图像的自然语言句子描述；
其中，所述图像描述模型由利用卷积网络构建的编码器、高低层特征融合的注意力以及利用循环递归网络构建的解码器构建而成。


2.如权利要求1所述的注意力遥感图像描述的生成方法，其特征在于，基于所述待测遥感图像和预先训练好的图像描述模型得到所述待测遥感图像的自然语言句子描述，包括：
基于预先训练好的编码器对所述待测遥感图像进行特征提取，由高层网络得到所述待测遥感图像的全局语义特征，由底层网络得到所述待测遥感图像的局部细节特征，以及每个特征对应的语义表示；
利用高低层特征融合的注意力对待测遥感图像的全局语义特征和局部细节特征的语义表示进行不同程度的关注，得到显著图像特征；
利用预先训练好的解码器，对所述显著图像特征进行解码生成所述待测遥感图像的自然语言句子描述。


3.如权利要求2所述的注意力遥感图像描述的生成方法，其特征在于，所述编码器的训练包括：
获取遥感图像的图像数据以及对应的自然语言句子描述数据；
将所述遥感图像数据进行切割得到图像切片数据；
由所述图像切片数据以及对应的自然语言句子描述数据分别构建遥感图像数据集和对应的自然语言句子描述数据集；
将所述遥感图像数据集和对应的自然语言句子描述数据集按照设定比例划分为训练集、检测集和测试集；
基于训练集中的所述遥感图像数据及对应的自然语言句子描述数据对所述编码器进行训练；
并基于所述检测集和测试集对所述编码器进行检测和测试得到训练好的编码器。


4.如权利要求3所述的注意力遥感图像描述的生成方法，其特征在于，所述编码器采用深度网络模型或残差网络模型。


5.如权利要求2所述的注意力遥感图像描述的生成方法，其特征在于，所述利用高低层特征融合的注意力对各特征的语义表示进行不同程度的关注，得到显著图像特征，包括：
基于所述全局特征采用注意力权重计算公式计算所述待测遥感图像的局部特征的注意力权重；
基于所述局部特征和所述注意力权重得到所述待测遥感图像的显著图像特征。


6.如权利要求5所述的注意力遥感图像描述的生成方法，其特征在于，所述注意力权...

【专利技术属性】
技术研发人员：张文凯，孙显，许光銮，张政远，李轩，汪勇，刘文杰，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：北京;11