图像检索方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开了一种图像检索方法、装置、计算机设备及存储介质，涉及人工智能领域。方法包括：对目标图像进行特征提取，得到目标图像的第一特征图，第一特征图用于表征目标图像中第一注意力区域的图像特征；基于第一特征图对目标图像进行注意力引导，得到目标图像对应的引导图像，引导图像的注意力区域为第二注意力区域；对引导图像进行特征提取，得到引导图像的第二特征图，第二特征图用于表征引导图像中第二注意力区域的图像特征；基于第一特征图生成第一特征向量，并基于第二特征图生成第二特征向量；基于第一特征向量和第二特征向量进行图像检索，得到图像检索结果。本申请实施例提供的方案丰富了图像特征的表达维度，提高了图像检索的准确性。像检索的准确性。像检索的准确性。

【技术实现步骤摘要】
图像检索方法、装置、计算机设备及存储介质


[0001]本申请实施例涉及人工智能领域，特别涉及一种图像检索方法、装置、计算机设备及存储介质。

技术介绍

[0002]图像检索是一种基于给定的查询图像，从图库中查找出相似图像的技术，常被用于图像排重、图像搜索等应用场景，其中，相似图像与查询图像中包含相同实例，该实例可以是人物、场景、建筑等等。
[0003]相关技术中，进行图像检索时，通常利用预先训练得到的特征提取网络对待检索图像进行特征提取，得到待检索图像特征，从而基于该待检索图像特征以及图库中各张图像的图像特征，在图库中查找与待检索图像具有相似图像特征的图像。
[0004]然而，利用相关技术中的特征提取网络进行特征提取时，仅关注特定图像区域内的图像特征，比如仅关注图像中前景区域的图像特征，导致提取到的图像特征的表达维度单一，进而影响图像检索的准确性。

技术实现思路

[0005]本申请实施例提供了一种图像检索方法、装置、计算机设备及存储介质，能够实现多注意力图像特征提取，丰富图像特征的表达维度，提高图像检索的准确性。所述技术方案如下：
[0006]一方面，本申请实施例提供了一种图像检索方法，所述方法包括：
[0007]对目标图像进行特征提取，得到所述目标图像的第一特征图，所述第一特征图用于表征所述目标图像中第一注意力区域的图像特征；
[0008]基于所述第一特征图对所述目标图像进行注意力引导，得到所述目标图像对应的引导图像，所述引导图像的注意力区域为第二注意力区域，且所述第二注意力区域不同于所述第一注意力区域；
[0009]对所述引导图像进行特征提取，得到所述引导图像的第二特征图，所述第二特征图用于表征所述引导图像中所述第二注意力区域的图像特征；
[0010]基于所述第一特征图生成第一特征向量，并基于所述第二特征图生成第二特征向量；
[0011]基于所述第一特征向量和所述第二特征向量进行图像检索，得到图像检索结果，所述图像检索结果中包含所述目标图像的相似图像。
[0012]另一方面，本申请实施例提供了一种图像检索装置，所述装置包括：
[0013]特征提取模块，用于对目标图像进行特征提取，得到所述目标图像的第一特征图，所述第一特征图用于表征所述目标图像中第一注意力区域的图像特征；
[0014]注意力引导模块，用于基于所述第一特征图对所述目标图像进行注意力引导，得到所述目标图像对应的引导图像，所述引导图像的注意力区域为第二注意力区域，且所述
第二注意力区域不同于所述第一注意力区域；
[0015]所述特征提取模块，还用于对所述引导图像进行特征提取，得到所述引导图像的第二特征图，所述第二特征图用于表征所述引导图像中所述第二注意力区域的图像特征；
[0016]向量生成模块，用于基于所述第一特征图生成第一特征向量，并基于所述第二特征图生成第二特征向量；
[0017]检索模块，用于基于所述第一特征向量和所述第二特征向量进行图像检索，得到图像检索结果，所述图像检索结果中包含所述目标图像的相似图像。
[0018]另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述方面所述的图像检索方法。
[0019]另一方面，本申请实施例提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的图像检索方法。
[0020]另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的图像检索方法。
[0021]本申请实施例中，对目标图像进行图像检索时，通过对目标图像进行特征提取，并基于提取到的特征图对目标图像进行注意力引导，得到与目标图像具有不同注意力区域的引导图像，从而根据目标图像以及引导图像各自对应的特征向量进行图像检索，得到图像检索结果；采用本申请实施例提供的方案，实现了多注意力区域的图像特征提取，并以不同注意力区域对应的图像特征为依据进行图像检索，比如同时以目标图像中前景区域以及背景区域的图像特征为依据进行图像检索，丰富了图像检索时图像特征的表达维度，提高了对图像中不同局部区域的关注度，进而提高了图像检索的准确性。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1示出了本申请实施例提供的图像检测方法的原理示意图；
[0024]图2示出了本申请一个示例性实施例提供的实施环境的示意图；
[0025]图3示出了本申请一个示例性实施例提供的图像检索方法的流程图；
[0026]图4示出了本申请一个示例性实施例提供的特征提取网络的结构示意图；
[0027]图5是特征提取网络中残差块的结构示意图；
[0028]图6示出了本申请另一个示例性实施例提供的图像检索方法的流程图；
[0029]图7示出了引导图像生成过程的实施示意图；
[0030]图8示出了本申请一个示例性实施例提供的特征提取网络训练过程的流程图；
[0031]图9示出了本申请另一个示例性实施例提供的特征提取网络训练过程的流程图；
[0032]图10是一个示例性实施例示出的特征提取网络训练过程的实施示意图；
[0033]图11示出了本申请另一个示例性实施例提供的特征提取网络训练过程的流程图；
[0034]图12是一个示例性实施例示出的特征提取网络训练过程的实施示意图；
[0035]图13示出了本申请一个示例性实施例提供的计算机设备的结构示意图；
[0036]图14示出了本申请一个示例性实施例提供的图像检索装置的方框图。
具体实施方式
[0037]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0038]为了方便理解，下面首先对本申请实施例中涉及的名词进行说明。
[0039]人工标注：指训练神经网络模型前，通过标注人员对训练数据集中的训练样本进行真实值(ground
‑
truth)标注的过程。人工标注得到的标注标签作为模型训练过程中对模型输出结果的监督，相应的，模型训练的过程即通过调整模型参数，使模型输出结果趋向于标注标签的过程。本申请实施例中涉及的人工标注过程，指对图像组中图像间是否相似进行标注。比如，当图像对中包含第一图像和第二图像，且第一图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索方法，其特征在于，所述方法包括：对目标图像进行特征提取，得到所述目标图像的第一特征图，所述第一特征图用于表征所述目标图像中第一注意力区域的图像特征；基于所述第一特征图对所述目标图像进行注意力引导，得到所述目标图像对应的引导图像，所述引导图像的注意力区域为第二注意力区域，且所述第二注意力区域不同于所述第一注意力区域；对所述引导图像进行特征提取，得到所述引导图像的第二特征图，所述第二特征图用于表征所述引导图像中所述第二注意力区域的图像特征；基于所述第一特征图生成第一特征向量，并基于所述第二特征图生成第二特征向量；基于所述第一特征向量和所述第二特征向量进行图像检索，得到图像检索结果，所述图像检索结果中包含所述目标图像的相似图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征图对所述目标图像进行注意力引导，得到所述目标图像对应的引导图像，包括：基于所述第一特征图生成所述目标图像对应的第一掩膜，所述第一掩膜表征的注意力区域为所述第一注意力区域；基于所述第一掩膜生成第二掩膜，所述第二掩膜表征的注意力区域为所述第二注意力区域；基于所述第二掩膜和所述目标图像生成所述引导图像。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征图生成所述目标图像对应的第一掩膜，包括：基于各个通道的所述第一特征图生成原始掩膜，所述原始掩膜中的数值为连续值；基于所述原始掩膜的数值平均值，对所述原始掩膜中的各个数值进行二值化处理，得到所述第一掩膜；所述基于所述第一掩膜生成第二掩膜，包括：对所述第一掩膜中的数值进行反转，得到所述第二掩膜。4.根据权利要求2所述的方法，其特征在于，所述基于所述第二掩膜和所述目标图像生成所述引导图像，包括：将所述第二掩膜中的数值由特征空间反映射至图像空间，得到图像掩膜；利用所述图像掩膜对所述目标图像进行掩膜处理，生成所述引导图像。5.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述第一特征向量和所述第二特征向量进行图像检索，得到图像检索结果，包括：对所述第一特征向量和所述第二特征向量进行拼接，得到目标融合特征向量；确定所述目标融合特征向量与图库中图像对应融合特征向量之间的向量距离；基于所述向量距离确定所述图像检索结果。6.根据权利要求5所述的方法，其特征在于，所述基于所述第一特征向量和所述第二特征向量进行图像检索，得到图像检索结果之后，所述方法还包括：响应于所述图库中不存在与所述目标图像重复的图像，将所述目标图像和所述目标融合特征向量关联存储至所述图库。7.根据权利要求1至4任一所述的方法，其特征在于，所述第一特征图和所述第二特征
图由特征提取网络的卷积层提取得到，所述第一特征向量和所述第二特征向量由所述特征提取网络的全连接层生成。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：通过所述特征提取网络对样本图像组进行特征提取，得到所述样本图像组对应的样本特征图组，所述样本图像组中包含至少两张样本图像，所述样本特征图组中包含各张所述样本图像对应的样本特征图；基于所述样本特征图组，对所述样本图像组进行注意力引导，得到所述样本图像组对应的样本引导图像组，所述样本引导图像组中包含各张所述样本图像对应的样本引导图像；通过所述特征提取网络对所述样本引导图像组进行特征提取，得到所述样本引导图像组对应的引导特征图组，所述引导特征图组中包含各张所述样本引导图像对应的样本引导特征图；通过所述特征提取网络生成所述样本特征图组对应的样本特征向量组，以及所述引导特征图组对应的引导特征向量组，所述样本特征向量组中包含各张所述样本图像的样本特征向量，所述引导特征向量组中包含各张所述样本引导图像的引导特征向量；基于所述样本特征向量组以及所述引导特征向量组，训练所述特征提取网络。9.根据权利要求8所述的方法，其特征在于，所述样本图像组中包含第一样本图像和第二样本图像，所述第一样本图像与所述第二样本图像相似；所述基于所述样本特征向量组以及所述引导特征向量组，训练所述特征提取网络，包括：基于所述样本特征向量组中的第一样本特征向量和第二样本特征向量，确定样本特征损失，所述第一样本特征向量为...

【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：