一种图像检索与分类方法、系统、终端及存储介质技术方案

本发明专利技术公开了一种图像检索与分类方法、系统、终端及存储介质，所述方法包括：获取待查询图像；将所述待查询图像输入目标哈希分类网络，得到所述待查询图像对应的预测哈希码和预测图像类别；获取目标数据库哈希码，根据所述目标数据库哈希码和所述预测哈希码确定所述待查询图像对应的目标图像集。本发明专利技术采用哈希码的方式来确定待查询图像的图像类别和其对应的一组相似图像，解决了现有的基于内容的图像检索方法无法获取图像的场景类别的问题，有助于图像的进一步分析和处理。助于图像的进一步分析和处理。助于图像的进一步分析和处理。

【技术实现步骤摘要】
一种图像检索与分类方法、系统、终端及存储介质


[0001]本专利技术涉及图像处理领域，尤其涉及的是一种图像检索与分类方法、系统、终端及存储介质。

技术介绍

[0002]高空间分辨率对地观测时代的来临催生了遥感数据的爆炸式增长，然而相较于目前已经获取的遥感数据体量而言，遥感图像的利用率仍然远远低于人们的预期。面对海量复杂的遥感图像，如何更有效地从已有的数据库中搜索出用户感兴趣的场景是后续遥感图像解译与应用的基础，是当前遥感大数据时代具有挑战且亟需解决的重要问题。
[0003]对于遥感图像检索，其中的挑战在于如何设计一个检索系统以实现准确、高效的方式返回与查询图像相似的样本。早期的检索方法主要利用手动注释标签(例如地理位置、采集时间或传感器类型)来搜索相似图像，这类方法称为基于文本的图像检索(Text
‑
based Image Retrieval,TBIR)。由于人工注释标签无法完全表征图像的视觉信息，因此，基于TBIR的方法通常无法获得精确的检索结果。相比之下，基于内容的图像检索(Content
‑
based Image Retrieval,CBIR)提取图像特征进行相似度检索，在近年来取得了巨大的成功。然而目前基于内容的图像检索方法只能将相似图像从数据库返回给用户，却无法获取图像的场景类别，阻碍了图像的进一步分析和处理。
[0004]因此，现有技术还有待改进和发展。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种图像检索与分类方法、系统、终端及存储介质，旨在解决现有的基于内容的图像检索方法无法获取图像的场景类别，阻碍了图像的进一步分析和处理的问题。
[0006]本专利技术解决问题所采用的技术方案如下：
[0007]第一方面，本专利技术实施例提供一种图像检索与分类方法，其中，所述方法包括：
[0008]获取待查询图像；
[0009]将所述待查询图像输入目标哈希分类网络，得到所述待查询图像对应的预测哈希码和预测图像类别；
[0010]获取目标数据库哈希码，根据所述目标数据库哈希码和所述预测哈希码确定所述待查询图像对应的目标图像集。
[0011]在一种实施方式中，所述将所述待查询图像输入目标哈希分类网络，得到所述待查询图像对应的预测哈希码和预测图像类别，包括：
[0012]将所述待查询图像输入目标哈希分类网络中的特征提取层，通过所述特征提取层基于所述待查询图像输出语义特征信息；
[0013]将所述语义特征信息输入所述目标分类网络中的哈希层，通过所述哈希层基于所述语义特征信息输出预测哈希码；
[0014]将所述预测哈希码输入所述目标分类网络中的分类层，通过所述分类层基于所述预测哈希码输出所述待查询图像对应的预测图像类别。
[0015]在一种实施方式中，所述特征提取层包括深度残差网络和特征融合层，所述将所述待查询图像输入目标哈希分类网络中的特征提取层，通过所述特征提取层基于所述待查询图像输出语义特征信息，包括：
[0016]将所述待查询图像输入所述深度残差网络，得到所述待查询图像对应的局部特征数据；
[0017]获取所述待查询图像对应的全局特征数据，将所述局部特征数据和所述全局特征数据输入所述特征融合层，得到所述语义特征信息。
[0018]在一种实施方式中，所述目标哈希分类网络和所述目标数据库哈希码预先由若干训练批次迭代训练而成，其中，每一所述训练批次均采用相同的数据库图像集作为训练数据，每一所述训练批次包括第一轮训练和第二轮训练，所述第一轮训练用于对未完成训练的哈希分类网络进行网络参数更新，以得到所述目标哈希分类网络，所述第二轮训练用于对未完成训练的数据库哈希码进行更新，以得到所述目标数据库哈希码。
[0019]在一种实施方式中，所述第一轮训练，包括：
[0020]获取所述数据库图像集，根据所述数据库图像集生成查询图像集；
[0021]从所述数据库图像集中获取数据库图像，并从所述查询图像集中获取查询图像，其中，每一所述查询图像均含有对应的图像类别标签；
[0022]确定所述数据库图像对应的初始数据库哈希码；
[0023]将所述查询图像输入所述哈希分类网络，得到训练预测哈希码和训练预测图像类别；
[0024]根据所述初始数据库哈希码、所述训练预测哈希码、所述训练预测图像类别以及所述图像类别标签，确定所述哈希分类网络对应的网络损失函数；
[0025]根据所述网络损失函数对所述哈希分类网络进行网络参数更新。
[0026]在一种实施方式中，所述根据所述初始数据库哈希码、所述训练预测哈希码、所述训练预测图像类别以及所述图像类别标签，确定所述哈希分类网络对应的网络损失函数，包括：
[0027]根据所述初始数据库哈希码和所述训练预测哈希码，确定相似度损失函数；
[0028]根据所述训练预测图像类别和所述图像类别标签，确定语义损失函数；
[0029]根据所述相似度损失函数和所述语义损失函数，确定所述网络损失函数。
[0030]在一种实施方式中，所述根据所述初始数据库哈希码和所述训练预测哈希码，确定相似度损失函数包括：
[0031]获取所述查询图像和所述数据库图像对应的相似度标签，其中，所述相似度标签用于反映所述查询图像和所述数据库图像是否属于同一图像类别；
[0032]确定所述初始数据库哈希码与所述训练预测哈希码之间的乘积，并确定所述乘积与所述相似度标签之间的损失，得到第一损失函数；
[0033]确定所述初始数据库哈希码与所述训练预测哈希码之间的损失，得到第二损失函数；
[0034]根据所述第一损失函数和所述第二损失函数，确定所述相似度损失函数。
[0035]在一种实施方式中，所述根据所述网络损失函数对所述哈希分类网络进行网络参数更新，包括：
[0036]根据所述网络损失函数对所述哈希分类网络进行反向传播，通过所述反向传播依次对所述分类层、所述哈希层以及所述特征提取层进行梯度更新；
[0037]根据所述分类层更新后的梯度对所述分类层进行参数更新；
[0038]根据所述哈希层更新后的梯度对所述哈希层进行参数更新；
[0039]根据所述特征提取层更新后的梯度对所述特征提取层进行参数更新。
[0040]在一种实施方式中，所述第二轮训练，包括：
[0041]将所述网络损失函数转换为矩阵形式，得到数据库损失函数；
[0042]根据所述数据库损失函数对所述数据库哈希码进行更新。
[0043]在一种实施方式中，所述根据所述目标数据库哈希码和所述预测哈希码确定所述待查询图像对应的目标图像集，包括：
[0044]依次计算所述预测哈希码与所述目标数据库哈希码中每一图像的哈希码之间的汉明距离，得到若干汉明距离；
[0045]将若干所述汉明距离从小到大进行排序，并根据预设顺序位之前的若干本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索与分类方法，其特征在于，所述方法包括：获取待查询图像；将所述待查询图像输入目标哈希分类网络，得到所述待查询图像对应的预测哈希码和预测图像类别；获取目标数据库哈希码，根据所述目标数据库哈希码和所述预测哈希码确定所述待查询图像对应的目标图像集。2.根据权利要求1所述的图像检索与分类方法，其特征在于，所述将所述待查询图像输入目标哈希分类网络，得到所述待查询图像对应的预测哈希码和预测图像类别，包括：将所述待查询图像输入目标哈希分类网络中的特征提取层，通过所述特征提取层基于所述待查询图像输出语义特征信息；将所述语义特征信息输入所述目标分类网络中的哈希层，通过所述哈希层基于所述语义特征信息输出预测哈希码；将所述预测哈希码输入所述目标分类网络中的分类层，通过所述分类层基于所述预测哈希码输出所述待查询图像对应的预测图像类别。3.根据权利要求2所述的图像检索与分类方法，其特征在于，所述特征提取层包括深度残差网络和特征融合层，所述将所述待查询图像输入目标哈希分类网络中的特征提取层，通过所述特征提取层基于所述待查询图像输出语义特征信息，包括：将所述待查询图像输入所述深度残差网络，得到所述待查询图像对应的局部特征数据；获取所述待查询图像对应的全局特征数据，将所述局部特征数据和所述全局特征数据输入所述特征融合层，得到所述语义特征信息。4.根据权利要求2所述的图像检索与分类方法，其特征在于，所述目标哈希分类网络和所述目标数据库哈希码预先由若干训练批次迭代训练而成，其中，每一所述训练批次均采用相同的数据库图像集作为训练数据，每一所述训练批次包括第一轮训练和第二轮训练，所述第一轮训练用于对未完成训练的哈希分类网络进行网络参数更新，以得到所述目标哈希分类网络，所述第二轮训练用于对未完成训练的数据库哈希码进行更新，以得到所述目标数据库哈希码。5.根据权利要求4所述的图像检索与分类方法，其特征在于，所述第一轮训练，包括：获取所述数据库图像集，根据所述数据库图像集生成查询图像集；从所述数据库图像集中获取数据库图像，并从所述查询图像集中获取查询图像，其中，每一所述查询图像均含有对应的图像类别标签；确定所述数据库图像对应的初始数据库哈希码；将所述查询图像输入所述哈希分类网络，得到训练预测哈希码和训练预测图像类别；根据所述初始数据库哈希码、所述训练预测哈希码、所述训练预测图像类别以及所述图像类别标签，确定所述哈希分类网络对应的网络损失函数；根据所述网络损失函数对所述哈希分类网络进行网络参数更新。6.根据权利要求5所述的图像检索与分类方法，其特征在于，所述根据所述初始数据库哈希码、所述训练预测哈希码、所述训练预测图像类别以及所述图像类别标签，确定所述哈希分类网络对应的网络损失函数，包括：
根据所述初始数据库哈希码和所述训练预测哈希码，确定相似度损失函数；根据所...

【专利技术属性】
技术研发人员：宋伟伟，崔金强，丁玉隆，尉越，商成思，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：