图像检索模型的训练方法、图像检索方法及装置制造方法及图纸

本申请提出一种图像检索模型的训练方法、图像检索方法及装置，涉及深度学习、图像处理等人工智能技术领域，图像检索模型的训练方法包括：获取多个样本图像，各样本图像以其中包括的样本对象的所属类别进行标注；将各样本图像输入图像检索模型中的目标检测网络，以获取对应样本图像中的样本图像块以及样本图像块的尺寸信息；将各样本图像块以及尺寸信息，输入图像检索模型中的特征提取网络，以获取对应样本图像中样本对象的预测特征向量；基于各样本对象的预测特征向量以及所属类别，确定损失值，并基于损失值，调整目标检测网络与特征提取网络的模型参数。能够实现对图像检索模型的训练，且该图像检索模型在用于图像检索时的检索准确性高。索准确性高。索准确性高。

【技术实现步骤摘要】
图像检索模型的训练方法、图像检索方法及装置


[0001]本申请涉及深度学习、图像处理等人工智能
，尤其涉及一种图像检索模型的训练方法、图像检索方法及装置。

技术介绍

[0002]图像检索技术在多种领域具有广泛的应用。比如在电商领域的同款推荐、属性治理、类目合并等场景中，需要通过图像检索技术，检索与已知图像相似的图像。
[0003]相关技术中的图像检索技术，在模型训练阶段一般是将图像中的ROI(region of interest，感兴趣区域)缩放至固定尺寸后直接输入网络。由于图像的ROI的尺寸多样，其中ROI的尺寸反映了图像中主体对象的某些重要属性，比如ROI的孔径比(即宽度和高度的比例)反映了衣服的长短款，而将图像的ROI缩放至固定尺寸，会引起图像中主体对象的形变，从而上述将图像中的ROI缩放至固定尺寸后直接输入网络进行模型训练的方式，会导致模型无法学习到图像中主体对象的真实形态，在进行检索时容易检索到与已知图像不相关的图像，检索结果的准确性差。

技术实现思路

[0004]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]本申请提出一种图像检索模型的训练方法、图像检索方法及装置，以解决相关技术中训练得到的图像检索模型，在进行检索时容易检索到与已知图像不相关的图像，检索结果的准确性差的技术问题。
[0006]本申请第一方面实施例提出了一种图像检索模型的训练方法，包括：获取多个样本图像，各所述样本图像以其中包括的样本对象的所属类别进行标注；将各所述样本图像输入图像检索模型中的目标检测网络，以获取对应样本图像中的样本图像块以及所述样本图像块的尺寸信息，所述样本图像块包括所述样本图像中的样本对象；将各所述样本图像中的样本图像块以及所述样本图像块的尺寸信息，输入所述图像检索模型中的特征提取网络，以获取对应样本图像中样本对象的预测特征向量；基于各所述样本图像中样本对象的预测特征向量以及所述样本对象的所属类别，确定损失值，并基于所述损失值，调整所述目标检测网络与所述特征提取网络的模型参数。由此，能够实现对图像检索模型的训练，且该图像检索模型在用于图像检索时的检索准确性高。
[0007]本申请第二方面实施例提出了一种图像检索方法，包括：获取待检索的检索图像；将所述检索图像输入图像检索模型中的目标检测网络，以获取所述检索图像中的目标图像块以及所述目标图像块的尺寸信息，所述目标图像块包括所述检索图像中的目标对象；将所述检索图像中的目标图像块以及所述目标图像块的尺寸信息，输入所述图像检索模型中的特征提取网络，以获取所述目标对象的预测特征向量，其中，所述图像检索模型基于第一方面实施例所述的方法训练得到；基于所述目标对象的预测特征向量，从多个候选图像中确定目标图像。由此，提高了图像检索的准确性。
[0008]本申请第三方面实施例提出了一种图像检索模型的训练装置，包括：第一获取模块，用于获取多个样本图像，各所述样本图像以其中包括的样本对象的所属类别进行标注；第一处理模块，用于将各所述样本图像输入图像检索模型中的目标检测网络，以获取对应样本图像中的样本图像块以及所述样本图像块的尺寸信息，所述样本图像块包括所述样本图像中的样本对象；第二处理模块，用于将各所述样本图像中的样本图像块以及所述样本图像块的尺寸信息，输入所述图像检索模型中的特征提取网络，以获取对应样本图像中样本对象的预测特征向量；模型参数调整模块，用于基于各所述样本图像中样本对象的预测特征向量以及所述样本对象的所属类别，确定损失值，并基于所述损失值，调整所述目标检测网络与所述特征提取网络的模型参数。
[0009]本申请第四方面实施例提出了一种图像检索装置，包括：第二获取模块，用于获取待检索的检索图像；第三处理模块，用于将所述检索图像输入图像检索模型中的目标检测网络，以获取所述检索图像中的目标图像块以及所述目标图像块的尺寸信息，所述目标图像块包括所述检索图像中的目标对象；第四处理模块，用于将所述检索图像中的目标图像块以及所述目标图像块的尺寸信息，输入所述图像检索模型中的特征提取网络，以获取所述目标对象的预测特征向量，其中，所述图像检索模型基于第一方面实施例所述的方法训练得到；确定模块，用于基于所述目标对象的预测特征向量，从多个候选图像中确定目标图像。
[0010]本申请第五方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本申请第一方面实施例提出的图像检索模型的训练方法，或者执行如本申请第二方面实施例提出的图像检索方法。
[0011]本申请第六方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如本申请第一方面实施例提出的图像检索模型的训练方法，或者执行如本申请第二方面实施例提出的图像检索方法。
[0012]本申请第七方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本申请第一方面实施例提出的图像检索模型的训练方法本申请第二方面实施例提出的图像检索方法，或者执行如本申请第二方面实施例提出的图像检索方法。
[0013]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0014]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0015]图1为本申请实施例一所提供的图像检索模型的训练方法的流程示意图；
[0016]图2为本申请实施例一所提供的图像检索模型的训练方法的另一流程示意图；
[0017]图3为本申请实施例二所提供的图像检索模型的训练方法的流程示意图；
[0018]图4为本申请实施例二所提供的特征提取网络的结构图；
[0019]图5为本申请实施例二所提供的第一融合模块的结构图；
[0020]图6为本申请实施例三所提供的图像检索模型的训练方法的流程示意图；
[0021]图7为本申请实施例三所提供的特征提取网络的结构图；
[0022]图8为本申请实施例四所提供的图像检索方法的流程示意图；
[0023]图9为本申请实施例四所提供的图像检索方法的另一流程示意图；
[0024]图10为本申请实施例四所提供的ROI的处理方式的示例图；
[0025]图11为本申请实施例四所提供的图像检索结果的示例图；
[0026]图12为本申请实施例五所提供的图像检索模型的训练装置的结构示意图；
[0027]图13为本申请实施例六所提供的图像检索装置的结构示意图；
[0028]图14示出了适于用来实现本申请实施方式的示例性电子设备的框图。
具体实施方式
[0029]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索模型的训练方法，其特征在于，所述方法包括：获取多个样本图像，各所述样本图像以其中包括的样本对象的所属类别进行标注；将各所述样本图像输入图像检索模型中的目标检测网络，以获取对应样本图像中的样本图像块以及所述样本图像块的尺寸信息，所述样本图像块包括所述样本图像中的样本对象；将各所述样本图像中的样本图像块以及所述样本图像块的尺寸信息，输入所述图像检索模型中的特征提取网络，以获取对应样本图像中样本对象的预测特征向量；基于各所述样本图像中样本对象的预测特征向量以及所述样本对象的所属类别，确定损失值，并基于所述损失值，调整所述目标检测网络与所述特征提取网络的模型参数。2.根据权利要求1所述的方法，其特征在于，所述将各所述样本图像中的样本图像块以及所述样本图像块的尺寸信息，输入所述图像检索模型中的特征提取网络，以获取对应样本图像中样本对象的预测特征向量，包括：对于每个所述样本图像，将其中的样本图像块的尺寸信息，输入所述特征提取网络包括的第一尺寸特征提取模块，以基于所述尺寸信息获取所述样本图像块的第一尺寸特征；将所述样本图像块输入所述特征提取网络包括的图像特征提取模块，以对所述样本图像块进行图像特征提取，得到所述样本图像块的图像特征向量；将所述第一尺寸特征和所述图像特征向量，输入所述特征提取网络中与所述第一尺寸特征提取模块和所述图像特征提取模块连接的第一融合模块，以将所述第一尺寸特征和所述图像特征向量融合，得到所述样本图像中样本对象的预测特征向量。3.根据权利要求2所述的方法，其特征在于，所述图像特征提取模块包括依次连接的图像处理子模块以及第一主干网络；所述将所述样本图像块输入所述特征提取网络包括的图像特征提取模块，以对所述样本图像块进行图像特征提取，得到所述样本图像块的图像特征向量，包括：将所述样本图像块输入所述图像处理子模块，以对所述样本图像块进行尺寸缩放，得到预设尺寸的第一图像块，并获取所述第一图像块对应的第一张量；将所述第一张量输入所述第一主干网络，以基于所述第一张量进行图像特征提取，得到所述样本图像块的图像特征向量。4.根据权利要求2所述的方法，其特征在于，所述第一融合模块包括依次连接的多层感知机子模块以及融合子模块；所述将所述第一尺寸特征和所述图像特征向量，输入所述特征提取网络中与所述第一尺寸特征提取模块和所述图像特征提取模块连接的第一融合模块，以将所述第一尺寸特征和所述图像特征向量融合，得到所述样本图像中样本对象的预测特征向量，包括：将所述第一尺寸特征输入所述多层感知机子模块，以对所述第一尺寸特征进行维度扩展，得到第二尺寸特征；将所述第二尺寸特征和所述图像特征向量输入所述融合子模块，以将所述第二尺寸特征和所述图像特征向量融合，得到所述样本图像中样本对象的预测特征向量。5.根据权利要求2
‑
4中任一项所述的方法，其特征在于，所述尺寸信息包括所述样本图像块的宽度和高度；所述基于所述尺寸信息获取所述样本图像块的第一尺寸特征，包括：将所述样本图像块的宽度和高度，确定为所述第一尺寸特征；
或者，将所述样本图像块的宽度和高度的比值，确定为所述第一尺寸特征；或者，确定各所述样本图像中样本图像块的宽度和高度的比值，并确定各所述比值的均值和标准差，基于所述比值、所述均值和所述标准差，确定所述第一尺寸特征；或者，确定各所述样本图像中样本图像块的宽度和高度的对数比值，并确定各所述对数比值的均值和标准差，基于所述对数比值、各所述对数比值的均值和标准差，确定所述第一尺寸特征。6.根据权利要求1所述的方法，其特征在于，所述将各所述样本图像中的样本图像块以及所述样本图像块的尺寸信息，输入所述图像检索模型中的特征提取网络，以获取对应样本图像中样本对象的预测特征向量，包括：对于每个所述样本图像，将所述样本图像中样本图像块的尺寸信息输入所述特征提取网络包括的第二尺寸特征提取模块，以基于所述尺寸信息获取所述样本图像块的第三尺寸特征；将所述样本图像块输入所述特征提取网络包括的图像处理模块，以对所述样本图像块进行尺寸缩放，得到预设尺寸的第二图像块，并获取所述第二图像块对应的第二张量；将所述第三尺寸特征和所述第二张量，输入所述特征提取网络中与所述第二尺寸特征提取模块及所述图像处理模块连接的第二融合模块，以将所述第三尺寸特征和所述第二张量融合，得到融合特征向量；将所述融合特征向量输入所述特征提取网络中与所述第二融合模块连接的第二主干网络，以基于所述融合特征向量进行特征提取，得到所述样本图像中样本对象的预测特征向量。7.根据权利要求6所述的方法，其特征在于，所述第二张量包括所述样本图像块中各像素点在多个通道的像素值；所述将所述第三尺寸特征和所述第二张量，输入所述特征提取网络中与所述第二尺寸特征提取模块及所述图像处理模块连接的第二融合模块，以将所述第三尺寸特征和所述第二张量融合，得到融合特征向量，包括：将所述第三尺寸特征和所述第二张量，输入所述第二融合模块，以对于所述样本图像块中的每个像素点，将所述第三尺寸特征与所述像素点在所述多个通道的像素值拼接，得到所述像素点在多个所述通道的特征向量；基于所述样本图像块中的各个像素点在多个所述通道的特征向量，生成所述融合特征向量。8.一种图像检索方法，其特征在于，所述方法包括：获取待检索的检索图像；将所述检索图像输入图像检索模型中的目标检测网络，以获取所述检索图像中的目标图像块以及所述目标图像块的尺寸信息，所述目标图像块包括所述检索图像中的目标对象；将所述检索图像中的目标图像块以及所述目标图像块的尺寸信息，输入所述图像检索模型中的特征提取网络，以获取所述目标对象的预测特征向量，其中，所述图像检索模型基于权利要求1
‑
7中任一项所述的方法训练得到；基于所述目标对象的预测特征向量，从多个候选图像中确定目标图像。
9.根据权利要求8所述的方法，其特征在于，所述基于所述目标对象的预测特征向量，从多个候选图像中确定目标图像，包括：获取各所述候选图像中候选对象的候选特征向量；确定所述目标对象的预测特征向量与各所述候选图像中候选对象的候选特征向量之间的相似度；基于所述目标对象的预测特征向量与各所述候选图像中候选对象的候选特征向量之间的相似度，从所述多个候选图像中确定所述目标图像。10.根据权利要求9所述的方法，其特征在于，所述获取各所述候选图像中候选对象的候选特征向量之前，还包括：对于每个所述候选图像，将所述候选图像输入所述目标检测网络，以获取所述候选图像中的候选图像块以及所述候选图像块的尺寸信息，所述候选图像块包括所述候选图像中的候选对象；将所述候选图像中的候选图像块以及所述候选图像块的尺寸信息，输入所述特征提取网络，以获取所述候选对象的预测特征向量。11.一种图像检索模型的训练装置，其特征在于，所述装置包括：第一获取模块，...

【专利技术属性】
技术研发人员：王倩芸，丁昆，刘朋樟，张屹峰，李阁，周梦迪，朱阳光，包勇军，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：