一种多模型综合的遥感影像场景描述方法技术

一种多模型综合的遥感影像场景描述方法：构建由目标检测样本集、地物分割样本集、目标识别样本集和语义描述样本集构成的遥感影像场景描述样本库；对深度学习目标检测模型、深度学习地物分类模型和深度学习目标分类模型进行训练，并进行目标检测识别和地物分类，生成结构化信息；将循环神经网络结构构成自然语言描述模型中的自然语言描述部分，将卷积神经网络构成自然语言描述模型中的图像处理部分，利用语义描述样本集对自然语言描述模型进行训练，获得遥感影像的场景语义描述；将结构化信息通过核心词语匹配和目标位置信息补充的方式嵌入到遥感影像的场景语义描述中，获得具备定性和定量描述能力的场景描述结果。本发明专利技术具有好的实际应用和描述准确性。具有好的实际应用和描述准确性。具有好的实际应用和描述准确性。

【技术实现步骤摘要】
一种多模型综合的遥感影像场景描述方法


[0001]本专利技术涉及一种遥感影像场景描述技术。特别是涉及一种多模型综合的遥感影像场景描述方法。

技术介绍

[0002]在遥感影像目标检测领域中可以进行场景理解的方法主要有如下几种，但它们在准确性和全面性上均存在某些缺陷：
[0003](1)基于中层特征的场景分类方法，如词袋模型、空间金字塔匹配模型、局部约束线性编码模型、主题模型、特征编码模型等方法。基于中层特征的场景分类方法旨在通过人工提取底层特征构建特征字典，并利用特征编码方法实现场景语义描述。但是该类方法没有跨越从图像到自然语言的鸿沟，且缺乏理论框架，难以实现特征自动提取、任务端到端完成。
[0004](2)基于深度卷积神经网络的方法，在充分学习目标局部特征的基础上，一定程度上考虑了全局特征，且可以形成简单词语的语义描述。但是该方法无法直接形成一句话的自然语言描述，且对于全局的数量、位置等信息无法感知获得。
[0005](3)基于深度卷积神经网络结合循环神经网络的方法，深度卷积神经网络用于感知遥感区域场景目标，循环神经网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模型综合的遥感影像场景描述方法，其特征在于，包括以下步骤：1)构建遥感影像场景描述样本库，包括目标检测样本集、地物分割样本集、目标识别样本集和语义描述样本集；2)分别对深度学习目标检测模型、深度学习地物分类模型和深度学习目标分类模型进行训练，并利用训练好的模型进行目标检测识别和地物分类，生成结构化信息；3)建立基于遥感场景影像和标注的自然语言描述模型，使用循环神经网络结构构成自然语言描述模型中的自然语言描述部分，使用卷积神经网络构成自然语言描述模型中的图像处理部分，利用语义描述样本集对自然语言描述模型进行训练，并利用训练好的自然语言描述模型获得遥感影像的场景语义描述；4)将步骤2)中获得的结构化信息通过核心词语匹配和目标位置信息补充的方式嵌入到步骤3)中获得的遥感影像的场景语义描述中，从而获得具备定性和定量描述能力的场景描述结果。2.根据权利要求1所述的一种多模型综合的遥感影像场景描述方法，其特征在于，步骤1)中所述的：(1.1)目标检测样本集，包括遥感影像、遥感影像的分辨率信息和尺寸信息、遥感影像中目标的位置信息和目标的类别信息；(1.2)地物分割样本集，包括遥感影像、遥感影像的分辨率信息和尺寸信息、遥感影像中地物像素级位置信息和地物类别信息；(1.3)目标识别样本集，包括目标影像切片、目标影像切片的分辨率信息和尺寸信息、目标影像切片中目标外观属性信息和详细类别信息；(1.4)语义描述样本集，包括遥感影像、遥感影像的分辨率信息和尺寸信息、遥感影像中场景语义描述信息。3.根据权利要求1所述的一种多模型综合的遥感影像场景描述方法，其特征在于，步骤2)中所述的深度学习目标检测模型两阶段目标检测模型或单阶段目标检测模型。4.根据权利要求1所述的一种多模型综合的遥感影像场景描述方法，其特征在于，步骤2)包括：(2.1)采用目标检测样本集对深度学习目标检测模型进行训练，采用地物分割样本集...

【专利技术属性】
技术研发人员：路志英，王港，
申请(专利权)人：天津大学，
类型：发明
国别省市：