基于全卷积神经网络的遥感图像多标签检索方法及系统技术方案

本发明专利技术提供了一种基于全卷积神经网络的遥感图像多标签检索方法及系统，顾及遥感图像的多类别信息实现多标签的图像检索，包括输入检索图像库，分成训练集和验证集；构建全卷积神经网络模型FCN，利用训练集进行网络训练；利用FCN对验证集中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样；提取验证集中各图像的局部特征，得到用于检索的特征向量；最后基于提取的多尺度特征和多标签信息进行由粗到细的两步式检索。本发明专利技术利用全卷积神经网络不仅学习了图像的多尺度局部特征，而且充分挖掘了图像隐含的多标签信息，相比现有的基于单标签的遥感图像检索方法，有效地提高了图像检索的准确度。

Multi-label Retrieval Method and System for Remote Sensing Images Based on Full Convolutional Neural Network

The invention provides a remote sensing image multi-label retrieval method and system based on full convolution neural network, which takes into account the multi-category information of remote sensing image to realize multi-label image retrieval, including input retrieval image database, which is divided into training set and verification set; construction of full convolution neural network model FCN, network training by using training set; and use FCN to separate the images in verification set. Line multi-class label prediction is used to get the segmentation results; and the convolution layer feature maps are sampled up; the local features of each image in the verification set are extracted to obtain the feature vectors for retrieval; finally, the two-step retrieval from coarse to fine is carried out based on the extracted multi-scale features and multi-label information. The full convolution neural network not only learns the multi-scale local features of the image, but also fully excavates the hidden multi-label information of the image. Compared with the existing remote sensing image retrieval method based on single label, the method effectively improves the accuracy of image retrieval.

【技术实现步骤摘要】
基于全卷积神经网络的遥感图像多标签检索方法及系统
本专利技术属于图像处理
，涉及一种基于全卷积神经网络的遥感图像多标签检索方法及系统。
技术介绍
现阶段由于遥感技术的快速发展，可获取的高分辨率遥感影像数据量正以惊人的速度增长。如何实现海量遥感数据的高效管理和有效利用，并快速、准确地从海量的遥感数据中挖掘所需信息是目前遥感领域亟待解决的一大难题。遥感图像检索技术作为一种信息检索、挖掘方法，是解决这一难题的有效技术手段。目前的遥感图像检索技术主要是基于图像内容进行的，通过提取图像的低层视觉特征或高层语义特征对图像内容进行描述，得到用于检索的特征向量。根据特征的提取方式不同，图像检索的特征可分为手工特征和深度学习特征。传统的遥感图像检索方法大多是基于手工特征进行的，包括光谱、纹理以及形状等低层视觉特征。针对小数据量的遥感图像检索，这种基于人工设计特征的检索策略是可行的，而且能够一定程度上满足用户的检索需求，但对于海量的遥感数据，人工设计特征的检索策略将不再适用，这是因为遥感数据的海量性、复杂性等特点导致很难设计一种有效的适用于各种场景的特征描述方法。相比传统的基于手工特征的图像检索方法，深度学习由于能够从海量的数据中自动学习有效的图像特征开始被广泛用于遥感图像检索。遥感图像具有场景复杂性特点，即一幅图像通常包含多种地物类别(多标签)。例如，一幅建筑区图像，除了建筑物之外往往会包含道路和树木(建筑物为主要类别)，但现有的基于手工和深度学习特征的遥感图像检索方法通常只考虑图像包含的主要语义内容(单标签)，忽略了图像的多类别信息。因此，为了改善遥感图像的检索结果，需要挖掘并充分利用图像包含的类别信息。
技术实现思路
针对现有的遥感图像单标签检索技术存在的不足，本专利技术提供了一种基于全卷积神经网络的遥感图像多标签检索技术方案。本专利技术利用全卷积神经网络挖掘遥感图像的多标签信息，并通过对特征图进行采样提取图像的多尺度局部特征，从而实现多标签的遥感图像检索。本专利技术所采用的技术方法为一种基于全卷积神经网络的遥感图像多标签检索方法，顾及遥感图像的多类别信息实现多标签的图像检索，包括以下步骤：步骤1，输入检索图像库，分成训练集DT和验证集DR；步骤2，构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；步骤3，利用步骤2训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；步骤4，基于步骤3中图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；步骤5，基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于步骤3中图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库然后基于步骤4提取的图像局部特征在图像库中进行细检索，计算查询图像和图像库中各图像的相似性，并根据相似性大小返回查询图像的相似图像。而且，步骤2中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。而且，步骤3中，上采样后的卷积层特征图与输入图像尺寸相同。而且，步骤4中，提取验证集DR中某图像I的局部特征，实现方式如下，其中，表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，表标签i相应类别的FCN分割结果，表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵后，对特征向量矩阵中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。而且，步骤5中，粗检索实现过程如下，设表示查询图像的标签向量，表示验证集DR中其他图像的标签向量，进行向量点积如下，L＝Lq·Lr若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库中进行下一步细检索。本专利技术还相应提供一种基于全卷积神经网络的遥感图像多标签检索系统，实现顾及遥感图像的多类别信息实现多标签的图像检索，包括以下模块：图像库模块，用于输入检索图像库，分成训练集DT和验证集DR；网络训练学习模块，用于构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；网络应用模块，用于利用训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；多尺度特征提取模块，用于基于图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；查询模块，用于基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库然后基于提取的图像局部特征在图像库中进行细检索，计算查询图像和图像库中各图像的相似性，并根据相似性大小返回查询图像的相似图像。而且，网络训练学习模块中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。而且，网络应用模块中，上采样后的卷积层特征图与输入图像尺寸相同。而且，多尺度特征提取模块中，提取验证集DR中某图像I的局部特征，实现方式如下，其中，表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，表标签i相应类别的FCN分割结果，表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵后，对特征向量矩阵中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。而且，查询模块中，粗检索实现过程如下，设表示查询图像的标签向量，表示验证集DR中其他图像的标签向量，进行向量点积如下，L＝Lq·Lr若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库中进行下一步细检索。现有的单标签遥感图像检索方法忽略了图像包含的类别信息，对于场景复杂的遥感影像难以保证其检索结果。与现有技术相比，本专利技术具有如下特点和有益效果，1、顾及遥感图像的多类别信息实现了多标签的图像检索，相比现有的单标签图像检索方法，缩短了低层特征和高层语义之间的“语义鸿沟”，有效地改善了图像检索结果。2、利用预训练的卷积神经网络构建FCN网络模型，减少了网络训练所需要的训练样本数量。此外，基于FCN模型，将图像特征提取和多标签信息挖掘整合到一个统一的框架中，简化了检索流程。3、利用各卷积层提取图像的多尺度特征，因此，提取的特征同时顾及了图像的粗略和细节信息，增强了特征的表征能力。4、实行由粗到细的渐进式检索策略本文档来自技高网...

【技术保护点】
1.一种基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：顾及遥感图像的多类别信息实现多标签的图像检索，包括以下步骤，步骤1，输入检索图像库，分成训练集DT和验证集DR；步骤2，构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；步骤3，利用步骤2训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；步骤4，基于步骤3中图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；步骤5，基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于步骤3中图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库

【技术特征摘要】
1.一种基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：顾及遥感图像的多类别信息实现多标签的图像检索，包括以下步骤，步骤1，输入检索图像库，分成训练集DT和验证集DR；步骤2，构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；步骤3，利用步骤2训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；步骤4，基于步骤3中图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；步骤5，基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于步骤3中图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库然后基于步骤4提取的图像局部特征在图像库中进行细检索，计算查询图像和图像库中各图像的相似性，并根据相似性大小返回查询图像的相似图像。2.根据权利要求1所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤2中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。3.根据权利要求1所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤3中，上采样后的卷积层特征图与输入图像尺寸相同。4.根据权利要求1所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤4中，提取验证集DR中某图像I的局部特征，实现方式如下，其中，表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，表标签i相应类别的FCN分割结果，表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵后，对特征向量矩阵中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。5.根据权利要求1或2或3或4所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤5中，粗检索实现过程如下，设表示查询图像的标签向量，表示验证集DR中其他图像的标签向量，进行向量点积如下，L＝Lq·Lr若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库中进行下一步细检索。6.一种基于全卷积神经网络的遥...

【专利技术属性】
技术研发人员：邵振峰，周维勋，李从敏，杨珂，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42