图像内容检索方法、装置、设备及存储介质制造方法及图纸

本说明书涉及图像检索技术领域，提供了一种图像内容检索方法、装置、设备及存储介质，该方法包括：接收输入的查询图像；将所述查询图像输入至预训练的HRNet网络中，以提取所述查询图像的图像语义多维特征；所述图像语义多维特征为所述查询图像的图像特征的多维语义表示；确定所述查询图像在图像簇集合中所归属的目标图像簇；确定所述图像语义多维特征分别与所述目标图像簇中每个图像的图像语义多维特征的相似度；根据所述相似度从所述目标图像簇中匹配出多个图像，以作为所述查询图像的检索结果。本说明书实施例可以提高图像检索结果的准确性。准确性。准确性。

【技术实现步骤摘要】
图像内容检索方法、装置、设备及存储介质


[0001]本说明书涉及图像检索
，尤其是涉及一种图像内容检索方法、装置、设备及存储介质。

技术介绍

[0002]在金融行业，对监控图像进行分析(例如监控图像锁定)，借助遥感图像辅助进行贷后风险管理、期货交易判断等场景下，均涉及到图像检索技术。随着大数据时代的来临和人工智能技术的快速发展，基于深度学习的图像内容检索方式逐渐代替传统图像检索方式。通过神经网络(例如深度学习网络)的学习，可以学习到具有语义的特征，缓解了语义鸿沟和算法泛化性受限问，从而避免繁琐的人工设计特征步骤。
[0003]然而，本申请的专利技术人研究发现：目前基于深度学习的图像内容检索，容易忽略图像本身的细节信息，难以获得准确性较高的图像检索结果。

技术实现思路

[0004]本说明书实施例的目的在于提供一种图像内容检索方法、装置、设备及存储介质，以提高图像检索结果的准确性。
[0005]为达到上述目的，一方面，本说明书实施例提供了一种图像内容检索方法，包括：
[0006]接收输入的查询图像；
[0007]将所述查询图像输入至预训练的HRNet网络中，以提取所述查询图像的图像语义多维特征；所述图像语义多维特征为所述查询图像的图像特征的多维语义表示；
[0008]确定所述查询图像在图像簇集合中所归属的目标图像簇；
[0009]确定所述图像语义多维特征分别与所述目标图像簇中每个图像的图像语义多维特征的相似度；
[0010]根据所述相似度从所述目标图像簇中匹配出多个图像，以作为所述查询图像的检索结果。
[0011]本说明书实施例的图像内容检索方法中，所述HRNet网络在预训练过程中所采用损失函数包括：
[0012][0013]其中，L1为分类损失函数，L2为中心损失函数，L为损失函数值，m为输入HRNet网络中每一批次的大小，n为类别数量，x
i
为第i个训练样本的特征，y
i
为第i个训练样本的类别标签，为y
i
的权重的转置，为第j个类别标签的权重的转置，为第i个训练样本的类别标签的偏置，b
j
为第j个类别标签，λ为用于平衡L1和L2的超参数，为第i个训练样本的类别标签的类中心。
[0014]本说明书实施例的图像内容检索方法中，所述超参数的取值范围为0.0001～
0.01。
[0015]本说明书实施例的图像内容检索方法中，所述确定所述查询图像在图像簇集合中所归属的目标图像簇，包括：
[0016]将所述查询图像的图像语义多维特征，分别与所述图像簇集合中每个图像簇的簇中心进行余弦距离相似度计算，获得多个余弦距离相似度值；
[0017]将所述多个余弦距离相似度值按照由大至小的顺序排序；
[0018]将位于排序中第一顺位对应的图像簇，作为所述查询图像在所述图像簇集合中所归属的目标图像簇。
[0019]本说明书实施例的图像内容检索方法中，所述图像簇集合预先通过以下方式确定：
[0020]在完成所述HRNet网络的训练后，基于所述HRNet网络提取全量图像的图像语义多维特征；
[0021]基于所述全量图像的图像语义多维特征对所述全量图像进行聚类，获得所述图像簇集合。
[0022]本说明书实施例的图像内容检索方法中，所述图像语义多维特征中包括512维度的图像语义特征。
[0023]另一方面，本说明书实施例还提供了一种图像内容检索装置，包括：
[0024]查询图像接收模块，用于接收输入的查询图像；
[0025]语义特征提取模块，用于将所述查询图像输入至预训练的HRNet网络中，以提取所述查询图像的图像语义多维特征；所述图像语义多维特征为所述查询图像的图像特征的多维语义表示；
[0026]图像簇确定模块，用于确定所述查询图像在图像簇集合中所归属的目标图像簇；
[0027]相似度计算模块，用于确定所述图像语义多维特征分别与所述目标图像簇中每个图像的图像语义多维特征的相似度；
[0028]检索结果生成模块，用于根据所述相似度从所述目标图像簇中匹配出多个图像，以作为所述查询图像的检索结果。
[0029]另一方面，本说明书实施例还提供了一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时，执行上述方法的指令。
[0030]另一方面，本说明书实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述方法的指令。
[0031]另一方面，本说明书实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被计算机设备的处理器运行时，执行上述方法的指令。
[0032]由以上本说明书实施例提供的技术方案可见，本说明书实施例由于预训练的HRNet网络能够通过并行的多分辨率子网络反复交换特征信息来完成多尺度的融合，使得低分辨率表征可以从其他的并行表示中得到高分辨率特征，从而可以得到考虑更多图像细节的图像特征的多维语义表示，据此可以从图像簇集合中查询到与查询图像更加匹配的图像，从而通过这种细粒度的检索提高了图像检索结果的准确性。
附图说明
[0033]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0034]图1示出了本说明书一些实施例中图像检索系统的示意图；
[0035]图2示出了本说明书一些实施例中图像内容检索方法的流程图；
[0036]图3示出了本说明书一些实施例中HRNet网络的结构示意图；
[0037]图4示出了图2所示方法中确定查询图像在图像簇集合中所归属的目标图像簇的流程图；
[0038]图5示出了本说明书一些实施例中HRNet网络的训练流程图；
[0039]图6示出了本说明书一些实施例中图像内容检索装置的结构框图；
[0040]图7示出了本说明书一些实施例中计算机设备的结构框图。
[0041]【附图标记说明】
[0042]10、客户端；
[0043]20、服务端；
[0044]30、数据库；
[0045]61、查询图像接收模块；
[0046]62、语义特征提取模块；
[0047]63、图像簇确定模块；
[0048]64、相似度计算模块；
[0049]65、检索结果生成模块；
[0050]702、计算机设备；
[0051]704、处理器；
[0052]706、存储器；
[0053]708、驱动机构；
[0054]710、输入/输出接口本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像内容检索方法，其特征在于，包括：接收输入的查询图像；将所述查询图像输入至预训练的HRNet网络中，以提取所述查询图像的图像语义多维特征；所述图像语义多维特征为所述查询图像的图像特征的多维语义表示；确定所述查询图像在图像簇集合中所归属的目标图像簇；确定所述图像语义多维特征分别与所述目标图像簇中每个图像的图像语义多维特征的相似度；根据所述相似度从所述目标图像簇中匹配出多个图像，以作为所述查询图像的检索结果。2.如权利要求1所述的图像内容检索方法，其特征在于，所述HRNet网络在预训练过程中所采用损失函数包括：其中，L1为分类损失函数，L2为中心损失函数，L为损失函数值，m为输入HRNet网络中每一批次的大小，n为类别数量，x
i
为第i个训练样本的特征，y
i
为第i个训练样本的类别标签，为y
i
的权重的转置，为第j个类别标签的权重的转置，为第i个训练样本的类别标签的偏置，b
j
为第j个类别标签，λ为用于平衡L1和L2的超参数，为第i个训练样本的类别标签的类中心。3.如权利要求2所述的图像内容检索方法，其特征在于，所述超参数的取值范围为0.0001～0.01。4.如权利要求1所述的图像内容检索方法，其特征在于，所述确定所述查询图像在图像簇集合中所归属的目标图像簇，包括：将所述查询图像的图像语义多维特征，分别与所述图像簇集合中每个图像簇的簇中心进行余弦距离相似度计算，获得多个余弦距离相似度值；将所述多个余弦距离相似度值按照由大至小的顺序排序；将位于排序中第一顺位对应的图像簇，作为所述查询图像在所述图像簇集合中所归属的目标图像簇。...

【专利技术属性】
技术研发人员：南晓停，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：