基于无监督深度回归的遥感图像检索方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于无监督深度回归的遥感图像检索方法、系统、设备及介质，所述方法包括：搭建基于相似性的孪生卷积神经网络；构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；进行图像检索。本发明专利技术利用无监督深度回归方法，训练一个轻便灵活的卷积神经网络，为当前人工智能学界和业界面临的有监督训练难题提供了一个解决思路。

【技术实现步骤摘要】
基于无监督深度回归的遥感图像检索方法、系统、设备及介质
本专利技术涉及一种遥感图像检索方法，尤其是一种基于无监督深度回归的遥感图像检索方法、系统、设备及介质，属于深度学习和遥感图像检索

技术介绍
随着传感器技术及航空航天技术的发展，现在每天都有大量的遥感图像产生。对海量的遥感图像进行有效组织和智能管理，势在必行而且刻不容缓。而基于内容的遥感图像检索是实现图像智能管理的重要环节。基于内容的遥感图像检索技术包括两个主要步骤：第一是特征提取，第二是特征的相似性度量。其中，特征提取是决定检索质量的关键因素。特征可以粗略地分为两类：手工设计的传统特征和深度特征(即用深度神经网络学习出的特征)。大量事实证明，深度特征能更好地刻画遥感图像的本质，具有更好的判别能力和表达能力，其性能往往比传统特征好得多。近年来，在包括遥感图像检索在内的诸多领域中，深度特征大有一枝独秀、所向披靡的势头。卷积神经网络(ConvolutionalNeuralNetworks，简称CNN)特征是深度特征的典型代表，也是深度特征中表现最突出者。基于卷积神经网络的遥感图像检索技术，可以分成以下四类：(1)直接使用预训练的卷积神经网络有些研究者将在日常图像库上预训练过的卷积神经网络当作现成的特征提取器，直接从全连接层提取特征。然而，预训练的卷积神经网络结构庞大，体态臃肿，需占用较多的存储空间。再者，全连接层特征通常维数都很高(几千维)，因而增加了后续比对步骤的计算开销。(2)从预训练的CNN中提取信息进行后处理有些研究者从预训练的卷积神经网络的卷积层提取信息，再利用BoVW(BagofVisualWords，词袋)、VLAD(VectorofLocallyAggregatedDescriptors，局部聚合描绘子向量)等技术进行编码。也有些研究者融合了多个卷积神经网络的特征。该方法的缺点与第一类相同，其特征向量甚至更长，有时高达几万维。上述两类方法均无需使用带标签样本。然而，遥感图像和日常图像毕竟有诸多不同，预训练的卷积神经网络完全没有考虑遥感图像的特质，所以，这两类方法的性能较低。(3)微调预训练的卷积神经网络有些研究者利用遥感图像库微调预训练的卷积神经网络，他们获得的检索效果通常优于前两类方法。然而，微调是一个有监督学习过程，需要带标签的训练样本。而且，这类方法依然有网络庞大、特征高维等缺点。(4)对预训练的卷积神经网络进行结构改造，再进行微调有些研究者在原网络后面接上一个浅层网络，旨在降低特征维数。然而，这类方法也是利用有监督方法训练一个庞大笨重的网络。综上所述，现有方法的主要缺点是：网络体态臃肿、特征维数高、训练过程是有监督的。其中，第三个缺点最为棘手，因为有监督的学习过程需要大量带标签图像。而为图像打标签是一项繁重的任务，需消耗大量的人力成本；对于海量的遥感图像，这个问题显得尤为严重(实际上，标签匮乏是遥感领域普遍存在的问题)，如何实现深度神经网络的无监督训练，是近年来人工智能学界和业界的研究焦点和主要难题。
技术实现思路
本专利技术的第一个目的在于提供一种基于无监督深度回归的遥感图像检索方法，该方法性能好，网络小，特征维数低，利用无监督深度回归方法，从头开始训练一个轻便灵活的卷积神经网络，生成紧凑简短的特征，为当前人工智能学界和业界面临的有监督训练难题提供了一个解决思路，并获得较优的检索效果。本专利技术的第二个目的在于提供一种基于无监督深度回归的遥感图像检索系统。本专利技术的第三个目的在于提供一种计算机设备。本专利技术的第四个目的在于提供一种存储介质。本专利技术的第一个目的可以通过采取如下技术方案达到：一种基于无监督深度回归的遥感图像检索方法，所述方法包括：搭建基于相似性的孪生卷积神经网络；利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。进一步的，所述基于相似性的孪生卷积神经网络的前半部分包括两个分支网络，两个分支网络为特征学习分支网络，两个分支网络的结构和参数相同；所述基于相似性的孪生卷积神经网络的后半部分是相似性学习网络，包括两个全连接层和一个输出层，输出层只有一个神经元，输出两幅输入图像的相似性预测值。进一步的，所述生成遥感图像检索特征库，具体包括：将第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络和相似性学习网络拆卸出来，并利用特征学习分支网络提取遥感图像检索库中所有图像的深度特征，将该深度特征存储在遥感图像检索特征库中。进一步的，所述提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，具体包括：利用第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络提取该查询图像的特征，将该查询图像的特征和遥感图像检索特征库中的特征逐一比对，输入第二次微调后的基于相似性的孪生卷积神经网络中的相似性学习网络以预测遥感图像与查询图像的相似性得分。进一步的，五个所述卷积神经网络，分别如下：CaffeNet：提取第二个全连接层的特征；VGG-S：提取第二个全连接层的特征；NetVLAD：提取第二个NetVLAD层的特征；GoogLeNet：提取最后一个池化层的特征；ResNet50：提取第五个池化层的特征。进一步的，所述每对图像的相似性得分和重要性权值的计算包括：构成图像样本集D，通过每个所述卷积神经网络计算图像样本集D中图像两两之间的欧氏距离，并作标准化处理，使得最大距离为1，最小距离为0；对于图像对(a,b)，假设第i个卷积神经网络计算出的标准化欧氏距离为di，令K＝argmink∈{1,2,…,5}θk；sa,b＝1-mK；其中，T为一个常数，sa,b为图像对(a,b)的相似性得分，wa,b为图像对(a,b)的重要性权值。进一步的，所述构造小批量损失函数，包括：设小批量输入图像对集合为则该小批量的损失函数如下：其中，是基于相似性的孪生卷积神经网络的输出，即图像对(a,b)相似性得分的预测值。本专利技术的第二个目的可以通过采取如下技术方案达到：一种基于无监督深度回归的遥感图像检索系统，所述系统包括：搭建模块，用于搭建基于相似性的孪生卷积神经网络；预训练模块，用于利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头本文档来自技高网...

【技术保护点】
1.一种基于无监督深度回归的遥感图像检索方法，其特征在于，所述方法包括：搭建基于相似性的孪生卷积神经网络；利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。

【技术特征摘要】
1.一种基于无监督深度回归的遥感图像检索方法，其特征在于，所述方法包括：搭建基于相似性的孪生卷积神经网络；利用五个已有的卷积神经网络计算日常图像库中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用日常图像库中的图像对基于相似性的孪生卷积神经网络进行从头开始的预训练；利用五个所述卷积神经网络计算第一遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第一遥感图像微调集中的图像对预训练后的基于相似性的孪生卷积神经网络进行第一次微调；利用五个所述卷积神经网络计算第二遥感图像微调集中每对图像的相似性得分和重要性权值，构造小批量损失函数，并使用第二遥感图像微调集中的图像对第一次微调后的基于相似性的孪生卷积神经网络进行第二次微调，生成遥感图像检索特征库；获取用户的查询图像，提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，并将遥感图像检索库中的遥感图像按相似性得分从高到低进行排序；其中，所述日常图像库、第一遥感图像微调集、第二遥感图像微调集中的图像均不带标签。2.根据权利要求1所述的遥感图像检索方法，其特征在于，所述基于相似性的孪生卷积神经网络的前半部分包括两个分支网络，两个分支网络为特征学习分支网络，两个分支网络的结构和参数均相同；所述基于相似性的孪生卷积神经网络的后半部分是相似性学习网络，包括两个全连接层和一个输出层，输出层只有一个神经元，输出两幅输入图像的相似性预测值。3.根据权利要求2所述的遥感图像检索方法，其特征在于，所述生成遥感图像检索特征库，具体包括：将第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络和相似性学习网络拆卸出来，并利用特征学习分支网络提取遥感图像检索库中所有图像的深度特征，将该深度特征存储在遥感图像检索特征库中。4.根据权利要求2所述的遥感图像检索方法，其特征在于，所述提取该查询图像的特征，将该查询图像的特征与遥感图像检索特征库中的特征逐一比对以预测相似性得分，具体包括：利用第二次微调后的基于相似性的孪生卷积神经网络中的特征学习分支网络提取该查询图像的特征，将该查询图像的特征和遥感图像检索特征库中的特征逐一比对，输入第二次微调后的基于相似性的孪生卷积神经网络中的相似性学习网络以预测遥感图像与查询图像的相似性得分。5.根据权利要求1所述的遥感图像检索方法，其特征在于，五个所述卷积神经网络，分别如下：CaffeNet：提取第二个全连接层的特征；VGG-S：提取第二个全连接层的特征；Ne...

【专利技术属性】
技术研发人员：刘亦书，丁利旺，刘应斌，陈聪慧，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：广东,44